Character.AI приостановил подростковые чаты после трагедий: «Это правильное решение»

Кратко

• Character.AI уберет функции открытого чата для пользователей младше 18 лет к 25 ноября, переведя несовершеннолетних на творческие инструменты, такие как создание видео и историй.
• Этот шаг последовал за самоубийством 14-летнего Сьюэлла Сетцера III в прошлом году, который развил навязчивую привязанность к чат-боту на платформе.
• Это объявление сделано на фоне того, что двупартийный законопроект Сената стремится сделать преступными продукты ИИ, которые подготавливают несовершеннолетних или генерируют сексуальный контент для детей.

Хаб искусства, моды и развлечений Decrypt.

Откройте SCENE

Character.AI запретит подросткам общаться с AI-компаньонами до 25 ноября, завершив основную функцию платформы после нарастающих исков, регуляторного давления и критики из-за смертей подростков, связанных с его чат-ботами.

Компания объявила об изменениях после “отчетов и отзывов от регуляторов, экспертов по безопасности и родителей”, убрав “возможность для пользователей младше 18 лет вести открытый чат с ИИ”, переводя несовершеннолетних на творческие инструменты, такие как генерация видео и историй, согласно блогу в среду.

“Мы не принимаем это решение о удалении открытого чата для персонажей легкомысленно — но мы считаем, что это правильный шаг,” сказала компания своему сообществу младше 18 лет.

До срока окончания пользователи-подростки сталкиваются с двухчасовым ежедневным лимитом чата, который будет постепенно уменьшаться.

Платформа сталкивается с судебными исками, включая иск от матери 14-летнего сына Сьюэлла Сетцера III, который покончил с собой в 2024 году после того, как сформировал навязчивые отношения с чат-ботом, созданным по образцу персонажа “Игры престолов” Дейенерис Таргариен, и также была вынуждена удалить бота, выдававшего себя за жертву убийства Дженнифер Энн Крсенте после жалоб семьи.

Приложения-компаньоны на базе ИИ “наводняют руки детей — без контроля, без регулирования и часто намеренно уклоняясь от проверки, поскольку они переформатируют и меняют названия, чтобы избежать внимания”, поделился доктор Скотт Коллинс, главный медицинский директор компании Aura, занимающейся онлайн-безопасностью для семей, в записке к Decrypt.

OpenAI сообщил во вторник, что около 1,2 миллиона из 800 миллионов пользователей ChatGPT каждую неделю обсуждают самоубийство, при этом почти полмиллиона проявляют суицидальные намерения, 560 000 показывают признаки психоза или мании, а более миллиона формируют сильные эмоциональные привязанности к чат-боту.

Коллинс сказал, что результаты были “глубоко тревожными для исследователей и ужасными для родителей”, отметив, что боты приоритизируют вовлеченность над безопасностью и часто приводят детей к вредным или откровенным разговорам без ограничений.

Character.AI заявила, что она внедрит новую систему проверки возраста, используя собственные модели в сочетании с инструментами третьих сторон, включая Persona.

Компания также создает и финансирует независимую лабораторию безопасности ИИ, некоммерческую организацию, посвященную инновациям в области безопасности для развлекательных функций ИИ.

Ограничения для ИИ

Федеральная торговая комиссия выдала обязательные предписания Character.AI и шести другим технологическим компаниям в прошлом месяце, требуя подробной информации о том, как они защищают несовершеннолетних от вреда, связанного с ИИ.

“Мы вложили огромные ресурсы в доверие и безопасность, особенно для стартапа,” сказал представитель Character.AI Decrypt в то время, добавив, что “за последний год мы внедрили множество значительных функций безопасности, включая совершенно новый опыт для пользователей младше 18 лет и функцию родительского контроля.”

“Этот шаг является как юридически обоснованным, так и этически ответственным,” сказала Ишита Шарма, управляющий партнер Fathom Legal, в интервью Decrypt. “Инструменты ИИ невероятно мощные, но в случае с несовершеннолетними риски эмоционального и психологического вреда не являются незначительными.”

“До тех пор проактивные действия в отрасли могут быть наиболее эффективной защитой как от вреда, так и от судебных разбирательств,” добавил Шарма.

Бипартинная группа сенаторов США во вторник представила законопроект под названием Закон о защите, который запретит использование AI-спутников для несовершеннолетних, потребует от чат-ботов четко идентифицировать себя как не человеческих, и создаст новые уголовные наказания для компаний, чьи продукты, нацеленные на несовершеннолетних, запрашивают или генерируют сексуальный контент.