OpenAIとAnthropicの危機対応業者、過激主義対策への移行を検討

シドニー、オーストラリア – ChatGPT上で暴力的過激主義の傾向を示す人々は、ニュージーランドで開発中の新しいツールを通じて、人間とチャットボットベースの脱過激化支援に誘導されると、開発者らが発表した。

この取り組みは、AI企業が暴力を阻止できず、むしろ助長しているとして非難する訴訟が増加する中、セキュリティー上の懸念に対処する最新の試みである。

OpenAIは2月、致命的な学校銃撃事件を起こした人物をプラットフォームから禁止したが当局に通知しなかったことが明らかになり、カナダ政府から介入の脅威を受けた。

近年ChatGPTの所有者であるOpenAIや競合のAnthropic、Googleに雇われたスタートアップThroughLineは、自傷行為、家庭内暴力、摂食障害のリスクがあるとフラグが立てられたユーザーを危機支援にリダイレクトしているが、暴力的過激主義の防止を含むよう提供サービスの拡大方法も模索していると、創設者で元ユースワーカーのエリオット・テイラー氏は述べた。

同社は、2019年のニュージーランド最悪のテロ攻撃後に設立されたオンライン上の憎悪を根絶する取り組みであるクライストチャーチ・コールと協議中であり、ThroughLineが介入チャットボットを開発する間、反過激主義グループが指導を行うことになると、元ユースワーカーは述べた。

「これは私たちが取り組みたいことであり、より良いカバーを提供し、プラットフォームをより良くサポートできるようにしたい」とテイラー氏はインタビューで語り、時期は未定であると付け加えた。

OpenAIはThroughLineとの関係を確認したが、それ以上のコメントは控えた。AnthropicとGoogleはコメント要請に即座には応じなかった。

ニュージーランドの田舎の自宅から運営するテイラー氏の会社は、180カ国の1,600のヘルプライン網を常時チェックする体制を提供することで、AI企業にとって頼りになる存在となっている。

AIが潜在的なメンタルヘルス危機の兆候を検知すると、ユーザーをThroughLineにルーティングし、近隣の利用可能な人間運営のサービスとマッチングする。

しかしThroughLineの範囲は特定のカテゴリーに限定されてきたと創設者は述べた。AIチャットボットの人気に伴い、人々がオンラインで明かすメンタルヘルスの問題の幅が爆発的に増加し、現在では過激主義との関わりも含まれていると彼は付け加えた。

チャットボットが増えれば問題も増える

反過激主義ツールは、過激主義の兆候を示す人々に対応するように訓練されたチャットボットと、実世界のメンタルヘルスサービスへの紹介を組み合わせたハイブリッドモデルになる可能性が高いとテイラー氏は述べた。

「基本的な大規模言語モデルの学習データは使用していません」と彼は述べ、大規模言語モデルプラットフォームが一貫したテキストを形成するために使用する汎用データセットに言及した。「適切な専門家と協力しています」。この技術は現在テスト中だが、リリース日は未定である。

クライストチャーチ・コールを代表するテロ対策顧問のゲイレン・ランファー=イングランド氏は、ゲームフォーラムのモデレーターや、オンライン上の過激主義を排除したい保護者や介護者向けに製品を展開したいと述べた。

チャットボットのリルーティングツールは「問題なのはコンテンツだけでなく、関係性のダイナミクスであることを認識しているため、良いアイデアであり必要なものだ」とクイーンズランド工科大学のAI研究者ヘンリー・フレーザー氏は述べた。

製品の成功は「フォローアップメカニズムがどれだけ優れているか、そして問題に対処する際に人々を導く構造と関係がどれだけ優れているか」という問題にかかっている可能性があると彼は述べた。

テイラー氏は、危険なユーザーに関する当局への通知の可能性を含むフォローアップ機能はまだ決定されていないが、行動がエスカレートする危険性を考慮すると述べた。

苦境にある人々は、人に言うのが恥ずかしいことをオンラインで共有する傾向があり、政府がデリケートな会話をするユーザーを遮断するようプラットフォームに圧力をかけると、危険を悪化させるリスクがあると彼は述べた。

法執行機関からの圧力を受けたプラットフォームによる過激派に関連した厳格なモデレーションにより、支持者たちはTelegramのような規制の緩い代替手段に移行していると、ニューヨーク大学スターン・センター・フォー・ビジネス・アンド・ヒューマン・ライツの2025年の研究によると示されている。

「AIに話しかけて危機を打ち明けても、会話が遮断されれば誰もそれが起こったことを知らず、その人はまだ支援を受けられない可能性がある」とテイラー氏は述べた。– Rappler.com