OpenAI відкладає режим для дорослих ChatGPT через побоювання щодо безпеки підлітків та збої перевірки віку

Коротко

• OpenAI відклала запуск запланованого "розширеного режиму" для ChatGPT, який дозволяв би еротичні текстові чати
• Внутрішні радники попередили, що функція може створити "сексуального тренера самогубств" через емоційну залежність користувачів
• Система прогнозування віку компанії неправильно класифікувала неповнолітніх як дорослих приблизно в 12% випадків
• Маючи ~100 мільйонів щотижневих користувачів віком до 18 років, такий рівень помилок може надати мільйонам підлітків доступ до контенту для дорослих
• OpenAI заявляє, що все ще планує випустити функцію згодом, але потребує більше часу, щоб "зробити досвід правильним"

OpenAI відклала запуск запланованого "розширеного режиму" для ChatGPT після того, як внутрішній персонал, зовнішні радники та експерти з безпеки висловили серйозні занепокоєння щодо доступу підлітків та психічного здоров'я користувачів.

Функція, яку генеральний директор Сем Альтман вперше запропонував минулого року, дозволила б користувачам вести еротичні текстові розмови з чатботом. Альтман стверджував, що цей крок "ставитиметься до дорослих користувачів як до дорослих" і припустив, що це може стимулювати зростання та дохід.

Але план швидко зіткнувся з опозицією всередині компанії.

На січневій зустрічі члени консультативної ради OpenAI з питань добробуту були описані як одностайні та розлючені. До складу ради входять експерти з психології та когнітивної нейронауки.

Один із членів попередив, що OpenAI ризикує створити те, що вони назвали "сексуальним тренером самогубств". Це попередження посилалося на випадки, коли користувачі ChatGPT позбавляли себе життя після формування інтенсивних емоційних зв'язків з ботом.

Радники також попередили, що функція може призвести до нездорової залежності від чатбота і що неповнолітні можуть знайти способи обійти будь-які встановлені вікові обмеження.

Основною технічною проблемою є система прогнозування віку OpenAI. В один момент система неправильно класифікувала неповнолітніх як дорослих приблизно в 12% випадків. OpenAI має приблизно 100 мільйонів користувачів віком до 18 років, які використовують ChatGPT щотижня. Такий рівень помилок може дозволити мільйонам підлітків потрапити до чатів для дорослих.

Проблеми перевірки віку

Компанія планувала запустити систему перевірки віку перед запуском розширеного режиму. Але вона вирішила повільно впроваджувати її для підвищення точності після виявлення проблеми з рівнем помилок.

OpenAI також зіткнулася з проблемою блокування незаконного контенту, такого як зображення дій без згоди або сексуального насильства над дітьми, при цьому дозволяючи розмови для дорослих. Внутрішній персонал заявив, що не вірить у готовність інструментів безпеки.

Коли розширений режим буде запущено, OpenAI планує обмежити його лише текстом. Бот не генеруватиме еротичні зображення, голосовий або відеоконтент.

Інші ШІ-компанії та контент для дорослих

Кілька інших ШІ-компаній вже дозволяють деякий контент для дорослих. xAI Ілона Маска додала фліртуючий аватар до свого чатбота Grok, хоча Маск пізніше обмежив його для платних користувачів. Meta дозволяє своєму ШІ-агенту брати участь у романтичних рольових іграх, але заявляє, що ця функція недоступна для акаунтів, зареєстрованих для неповнолітніх.

Наприкінці 2024 року 14-річний хлопчик у Флориді помер від самогубства після формування інтенсивного зв'язку з чатботом Character.AI. Його мати подала позов, і Character.AI пізніше врегулювала справу та обмежила доступ для підлітків.

OpenAI заявила, що все ще підтримує принцип дозволу контенту для дорослих для дорослих користувачів. Компанія заявила, що зараз зосередиться на інших оновленнях, включаючи функції особистості та персоналізації ChatGPT.

Очікується, що затримка триватиме щонайменше один місяць, згідно з обізнаними джерелами.

Публікація OpenAI відкладає розширений режим ChatGPT через побоювання щодо безпеки підлітків та збої перевірки віку вперше з'явилася на CoinCentral.