Model AI sumber terbuka rentan disalahgunakan untuk tindak kriminal, peneliti memperingatkan

Peretas dan penjahat lainnya dapat dengan mudah mengambil alih komputer yang menjalankan model bahasa besar sumber terbuka di luar pagar pembatas dan batasan platform kecerdasan buatan utama, menciptakan risiko dan kerentanan keamanan, kata para peneliti pada Kamis, 29 Januari.

Peretas dapat menargetkan komputer yang menjalankan LLM dan mengarahkannya untuk melakukan operasi spam, pembuatan konten phishing, atau kampanye disinformasi, menghindari protokol keamanan platform, kata para peneliti.

Penelitian yang dilakukan bersama oleh perusahaan keamanan siber SentinelOne dan Censys selama 293 hari dan dibagikan secara eksklusif dengan Reuters, menawarkan pandangan baru tentang skala kasus penggunaan yang berpotensi ilegal untuk ribuan penerapan LLM sumber terbuka. Ini termasuk peretasan, ujaran kebencian dan pelecehan, konten kekerasan atau sadis, pencurian data pribadi, penipuan atau kecurangan, dan dalam beberapa kasus materi pelecehan seksual anak, kata para peneliti.

Meskipun ribuan varian LLM sumber terbuka ada, sebagian besar LLM pada host yang dapat diakses internet adalah varian dari Llama milik Meta, Gemma milik Google DeepMind, dan lainnya, menurut para peneliti. Meskipun beberapa model sumber terbuka menyertakan pagar pembatas, para peneliti mengidentifikasi ratusan kasus di mana pagar pembatas secara eksplisit dihapus.

Percakapan industri AI tentang kontrol keamanan "mengabaikan jenis kapasitas surplus ini yang jelas digunakan untuk semua jenis hal yang berbeda, beberapa di antaranya sah, beberapa jelas kriminal," kata Juan Andres Guerrero-Saade, direktur eksekutif untuk riset intelijen dan keamanan di SentinelOne. Guerrero-Saade menyamakan situasi ini dengan "gunung es" yang tidak diperhitungkan dengan benar di seluruh industri dan komunitas sumber terbuka.

Studi memeriksa prompt sistem

Penelitian ini menganalisis penerapan LLM sumber terbuka yang dapat diakses publik yang diterapkan melalui Ollama, alat yang memungkinkan orang dan organisasi menjalankan versi mereka sendiri dari berbagai model bahasa besar.

Para peneliti dapat melihat prompt sistem, yang merupakan instruksi yang menentukan bagaimana model berperilaku, di sekitar seperempat LLM yang mereka amati. Dari jumlah tersebut, mereka menentukan bahwa 7,5% berpotensi memungkinkan aktivitas berbahaya.

Sekitar 30% dari host yang diamati oleh para peneliti beroperasi dari Tiongkok, dan sekitar 20% di AS.

Rachel Adams, CEO dan pendiri Global Center on AI Governance, mengatakan dalam email bahwa setelah model terbuka dirilis, tanggung jawab atas apa yang terjadi selanjutnya menjadi bersama di seluruh ekosistem, termasuk lab asal.

"Lab tidak bertanggung jawab atas setiap penyalahgunaan hilir (yang sulit diantisipasi), tetapi mereka mempertahankan kewajiban penting untuk mengantisipasi bahaya yang dapat diperkirakan, mendokumentasikan risiko, dan menyediakan peralatan dan panduan mitigasi, terutama mengingat kapasitas penegakan global yang tidak merata," kata Adams.

Juru bicara Meta menolak menanggapi pertanyaan tentang tanggung jawab pengembang untuk mengatasi kekhawatiran seputar penyalahgunaan hilir model sumber terbuka dan bagaimana kekhawatiran dapat dilaporkan, tetapi mencatat alat Llama Protection perusahaan untuk pengembang Llama, dan Panduan Penggunaan Bertanggung Jawab Meta Llama perusahaan.

Pemimpin Tim Merah AI Microsoft Ram Shankar Siva Kumar mengatakan dalam email bahwa Microsoft percaya model sumber terbuka "memainkan peran penting" di berbagai bidang, tetapi, "pada saat yang sama, kami jelas bahwa model terbuka, seperti semua teknologi transformatif, dapat disalahgunakan oleh musuh jika dirilis tanpa perlindungan yang tepat."

Microsoft melakukan evaluasi pra-rilis, termasuk proses untuk menilai "risiko untuk skenario yang terpapar internet, yang di-host sendiri, dan pemanggilan alat, di mana penyalahgunaan dapat tinggi," katanya. Perusahaan juga memantau ancaman yang muncul dan pola penyalahgunaan. "Pada akhirnya, inovasi terbuka yang bertanggung jawab memerlukan komitmen bersama di antara pencipta, penerapan, peneliti, dan tim keamanan."

Ollama tidak menanggapi permintaan komentar. Google milik Alphabet dan Anthropic tidak menanggapi pertanyaan. – Rappler.com