Kontraktor krisis untuk OpenAI, Anthropic melirik langkah untuk memerangi ekstremisme

SYDNEY, Australia – Orang-orang yang menunjukkan kecenderungan ekstremis kekerasan di ChatGPT akan diarahkan ke dukungan deradikalisasi berbasis manusia dan chatbot melalui alat baru yang sedang dikembangkan di Selandia Baru, kata orang-orang di baliknya.

Inisiatif ini merupakan upaya terbaru untuk mengatasi masalah keamanan menghadapi meningkatnya jumlah gugatan yang menuduh perusahaan AI gagal menghentikan, dan bahkan memfasilitasi, kekerasan.

OpenAI diancam dengan intervensi oleh pemerintah Kanada pada bulan Februari setelah mengungkapkan bahwa seseorang yang melakukan penembakan mematikan di sekolah telah dilarang oleh platform tanpa pihak berwenang diberitahu.

ThroughLine, sebuah startup yang dipekerjakan dalam beberapa tahun terakhir oleh pemilik ChatGPT OpenAI serta pesaing Anthropic dan Google, untuk mengalihkan pengguna ke dukungan krisis ketika mereka ditandai berisiko menyakiti diri sendiri, kekerasan dalam rumah tangga, atau gangguan makan, juga mengeksplorasi cara untuk memperluas penawarannya hingga mencakup pencegahan ekstremisme kekerasan, kata pendirinya dan mantan pekerja muda Elliot Taylor.

Perusahaan tersebut sedang berdiskusi dengan The Christchurch Call, sebuah inisiatif untuk memberantas kebencian online yang dibentuk setelah serangan teroris terburuk Selandia Baru pada 2019, yang akan melibatkan kelompok anti-ekstremisme memberikan panduan sementara ThroughLine mengembangkan chatbot intervensi, kata mantan pekerja muda tersebut.

"Ini adalah sesuatu yang ingin kami lakukan dan melakukan pekerjaan yang lebih baik dalam mencakup dan kemudian dapat memberikan dukungan yang lebih baik kepada platform," kata Taylor dalam sebuah wawancara, menambahkan bahwa tidak ada kerangka waktu yang ditetapkan.

OpenAI mengkonfirmasi hubungan dengan ThroughLine tetapi menolak memberikan komentar lebih lanjut. Anthropic dan Google tidak segera menanggapi permintaan komentar.

Perusahaan Taylor, yang dia jalankan dari rumahnya di pedesaan Selandia Baru, telah menjadi pilihan utama bagi perusahaan AI dengan penawarannya berupa jaringan 1.600 saluran bantuan yang terus diperiksa di 180 negara.

Setelah AI mendeteksi tanda-tanda potensi krisis kesehatan mental, ia mengarahkan pengguna ke ThroughLine, yang mencocokkan mereka dengan layanan yang dijalankan manusia yang tersedia di dekatnya.

Namun ruang lingkup ThroughLine terbatas pada kategori tertentu, kata pendirinya. Luasnya masalah kesehatan mental yang diungkapkan orang secara online telah meledak dengan popularitas chatbot AI, dan sekarang termasuk keterlibatan dengan ekstremisme, tambahnya.

Lebih banyak chatbot, lebih banyak masalah

Alat anti-ekstremisme kemungkinan akan menjadi model hibrid yang menggabungkan chatbot yang dilatih untuk merespons orang-orang yang menunjukkan tanda-tanda ekstremisme dan rujukan ke layanan kesehatan mental dunia nyata, kata Taylor.

"Kami tidak menggunakan data pelatihan dari LLM dasar," katanya, merujuk pada dataset generik yang digunakan platform model bahasa besar untuk membentuk teks yang koheren. "Kami bekerja dengan para ahli yang tepat." Teknologi ini saat ini sedang diuji, tetapi tidak ada tanggal yang ditetapkan untuk peluncuran.

Galen Lamphere-Englund, seorang penasihat kontraterorisme yang mewakili The Christchurch Call, mengatakan dia berharap dapat meluncurkan produk tersebut untuk moderator forum game dan untuk orang tua serta pengasuh yang ingin memberantas ekstremisme online.

Alat pengalihan chatbot adalah "ide yang baik dan perlu karena mengakui bahwa bukan hanya konten yang menjadi masalah, tetapi dinamika hubungan," kata Henry Fraser, seorang peneliti AI di Queensland University of Technology.

Keberhasilan produk mungkin bergantung pada pertanyaan "seberapa baik mekanisme tindak lanjut dan seberapa baik struktur dan hubungan yang mereka arahkan kepada orang-orang dalam mengatasi masalah," katanya.

Taylor mengatakan fitur tindak lanjut, termasuk kemungkinan peringatan kepada pihak berwenang tentang pengguna berbahaya, masih harus ditentukan tetapi akan mempertimbangkan risiko memicu perilaku yang meningkat.

Dia mengatakan orang-orang yang tertekan cenderung membagikan hal-hal secara online yang mereka terlalu malu untuk mengatakannya kepada seseorang, dan pemerintah berisiko memperparah bahaya jika mereka menekan platform untuk memutuskan pengguna yang terlibat dalam percakapan sensitif.

Moderasi yang ditingkatkan terkait militansi oleh platform yang di bawah tekanan dari penegak hukum telah menyebabkan simpatisan berpindah ke alternatif yang kurang diatur seperti Telegram, menurut studi 2025 oleh Stern Center for Business and Human Rights Universitas New York.

"Jika Anda berbicara dengan AI dan mengungkapkan krisis dan itu menutup percakapan, tidak ada yang tahu itu terjadi, dan orang itu mungkin masih tanpa dukungan," kata Taylor. – Rappler.com