LoveGPT: підйом ШІ-"довіреної особи" і чому це небезпечно

Напередодні Дня святого Валентина варто поставити незручне питання: що відбувається, коли відчуття того, що тебе «бачать і чують», приходить не від партнера, а від машини? Розроблені з окремими особистостями та підбадьорливим тоном, чат-боти-супутники на основі штучного інтелекту (ШІ) можуть розмивати емоційні межі та сприяти романтичній прихильності. Хоча це може здатися нешкідливим, це викликає занепокоєння як для окремих осіб, так і для організацій, які прагнуть запобігти емоційній залежності, маніпуляціям та витоку даних.

Оскільки самотність є постійною реальністю для багатьох, останніми роками спостерігається експоненціальне зростання чат-ботів-супутників на основі ШІ.

«На відміну від чат-ботів загального призначення, програми-супутники на основі ШІ, такі як Replika та Character.AI, йдуть ще далі, пропонуючи персоналізованих персонажів – від друзів і романтичних партнерів до фантастичних образів – розроблених, щоб відчуватися виразно людяними», – коментує Анна Коллард, старший віце-президент зі стратегії контенту та радник CISO в KnowBe4 Africa.

Зростання у секторі програм-супутників на основі ШІ було швидким: лише в першій половині 2025 року було зареєстровано 60 мільйонів нових завантажень, що на 88% більше, ніж рік до року.

Ринок тепер включає 337 програм, що генерують дохід, по всьому світу, причому більше третини було запущено лише минулого року.

Небезпеки ефекту ELIZA

Коллард каже, що багато користувачів введені в оману, відчуваючи себе в безпеці, діляться інтимними розмовами з машиною – так званий ефект ELIZA.

Цей психологічний зв'язок створює значну вразливість у сфері безпеки. Коли користувачі сприймають ШІ як «друга» або «партнера», вони набагато частіше діляться конфіденційною інформацією – від особистих скарг і проблем зі здоров'ям до корпоративних даних.

В організаційному контексті це яскравий приклад того, як емоційні тригери можуть переважати традиційну обізнаність про безпеку.

Ризики витоку даних

Найбільш негайною загрозою для організацій є витік конфіденційної інформації. Оскільки ці боти часто розробляються меншими нішевими стартапами з сумнівними стандартами захисту даних, інформація, якою діляться з ботом, рідко є приватною. Яскравим прикладом є недавній випадок, коли ШІ-іграшка викрила 50 000 журналів своїх чатів з дітьми. Буквально будь-хто з обліковим записом Gmail міг переглядати ці приватні розмови дітей.

Політики конфіденційності цих програм часто є непрозорими. У деяких випадках журнали чатів використовуються для подальшого навчання моделей або зберігаються в незахищених базах даних. «Обережність точно потрібна», – коментує Коллард. «Те, що здається приватною взаємодією з низькими ставками, може містити конфіденційну інформацію, стратегію, фінансовий тиск, особисті стресові фактори або контекстні деталі, які противники можуть озброїти».

Після витоку, вона вважає, що дані можуть, наприклад, стати паливом для високоперсоналізованого фішингу, шантажу або атак із видаванням себе за іншу особу. «З точки зору безпеки, це підручний приклад того, як особиста поведінка та корпоративний ризик зараз нерозривні».

Ці ризики включають людських модераторів, які переглядають розмови для навчання, контролю якості або цілей безпеки, а також користувачів, які випадково діляться розмовами через публічне посилання, що означає, що будь-хто, хто має доступ до цього посилання, може його прочитати. Коллард попереджає. «Ми вже бачили приклади в усьому технологічному секторі, як викриті дані можуть несподівано з'явитися».

Крім того, організації можуть бути юридично зобов'язані розкривати дані, якщо програма залучена до порушення або юридичного розслідування. Для керівника або розробника обмін сесіями «виливання душі» про конфіденційний проект або складного клієнта може ненавмисно призвести до викриття конфіденційних організаційних даних.

Прогалина в політиці

Цей ризик підкреслює прогалину в політиці на сучасному робочому місці. Хоча більшість організацій мають чіткі вказівки щодо відносин між колегами, дуже мало хто розглянув наслідки доступу до ботів для знайомств на робочих пристроях або через корпоративні мережі.

Управління цим ризиком вимагає переходу від простої обізнаності до надійного підходу з управління людськими ризиками (HRM). Це включає в себе накладання чітких політик використання з технічними обмежувачами – такими як інструменти виявлення тіньового ШІ – щоб надати ІТ-командам видимість того, які несхвалені ШІ-агенти взаємодіють з їх середовищем даних. Недостатньо просто попросити працівників бути обережними; організації повинні мати системи для управління перетином людських емоцій та автоматизованої взаємодії.

Майбутнє соціальної інженерії

Чи можемо ми побачити хакерів, які націлюються на самотніх людей за допомогою масово виготовлених флірт-ботів? Коллард вважає, що це вже відбувається.

«Соціальна інженерія завжди масштабувалася шляхом експлуатації емоцій, термінових справ, страху, цікавості, кохання та привабливості», – коментує вона. «ШІ просто автоматизує це в масштабі. Що турбує мене найбільше, так це не сама технологія, а те, як вона надає можливості тим, хто має зловмисні наміри переконливо відображати людську інтимність, наприклад, систематичні романтичні шахраї».

За словами Коллард, за кілька років шахрайство еволюціонувало від типу «Шановний пане/пані» до емоційно інтелігентних маніпуляцій. «І проблема не в самих ботах, а в їх навмисному використанні шахраями», – каже вона.

Вона згадує приклад незаконного бота LoveGPT, який допомагає шахраям говорити правильні психологічно тригерні речі, щоб створити залежність і активувати емоції у своїх жертв. «Все, що потрібно зробити шахраям, це скопіювати та вставити або навіть просто автоматизувати розмови», – стверджує вона.

Що можна зробити, щоб запобігти тому, щоб на користувачів полювали? Як завжди, захист залишається людським, стверджує Коллард. «Зрештою, жоден чат-бот, незалежно від того, наскільки уважним або емоційно вільним він є, не може замінити справжній людський зв'язок», – наголошує вона.

Якщо взаємодія з чат-ботом починає відчуватися емоційно замінною, секретною або від якої важко відійти, вона вважає, що це сигнал для паузи та звернення до довіреної особи або професіонала. «Технологія може бути частиною сучасного життя, але це означає, що нам потрібно посилити наші навички цифрової уважності, щоб навчитися розпізнавати маніпуляції або індуковану залежність. Нарешті, коли йдеться про самотність, вразливість і кохання, найбезпечнішим захистом залишається рішуче людський», – підсумовує вона.