Open-source AI-modellen kwetsbaar voor crimineel misbruik, waarschuwen onderzoekers

Hackers en andere criminelen kunnen gemakkelijk computers overnemen die open-source grote taalmodellen draaien buiten de veiligheidsmaatregelen en beperkingen van de grote kunstmatige-intelligentieplatforms, waardoor beveiligingsrisico's en kwetsbaarheden ontstaan, zeiden onderzoekers op donderdag 29 januari.

Hackers zouden de computers die de LLM's draaien kunnen targeten en hen opdracht geven om spamoperaties, phishing-contentcreatie of desinformatiecampagnes uit te voeren, waarbij ze platformbeveiligingsprotocollen omzeilen, zeiden de onderzoekers.

Het onderzoek, gezamenlijk uitgevoerd door cybersecuritybedrijven SentinelOne en Censys gedurende 293 dagen en exclusief gedeeld met Reuters, biedt een nieuw inzicht in de schaal van mogelijk illegale gebruikssituaties voor duizenden open-source LLM-implementaties. Deze omvatten hacken, haatzaaiende uitingen en intimidatie, gewelddadige of bloederige inhoud, diefstal van persoonlijke gegevens, oplichting of fraude, en in sommige gevallen kindermisbruikmateriaal, zeiden de onderzoekers.

Hoewel er duizenden open-source LLM-varianten bestaan, is een aanzienlijk deel van de LLM's op via internet toegankelijke hosts varianten van Meta's Llama, Google DeepMind's Gemma en anderen, aldus de onderzoekers. Hoewel sommige van de open-source modellen veiligheidsmaatregelen bevatten, identificeerden de onderzoekers honderden gevallen waarin veiligheidsmaatregelen expliciet waren verwijderd.

AI-branchegesprekken over beveiligingscontroles "negeren dit soort overkapaciteit dat duidelijk wordt gebruikt voor allerlei verschillende dingen, waarvan sommige legitiem zijn en andere duidelijk crimineel," zei Juan Andres Guerrero-Saade, uitvoerend directeur voor intelligence- en beveiligingsonderzoek bij SentinelOne. Guerrero-Saade vergeleek de situatie met een "ijsberg" waarmee niet goed rekening wordt gehouden in de hele branche en open-source gemeenschap.

Onderzoek analyseert systeemprompts

Het onderzoek analyseerde openbaar toegankelijke implementaties van open-source LLM's die zijn geïmplementeerd via Ollama, een tool waarmee mensen en organisaties hun eigen versies van verschillende grote taalmodellen kunnen draaien.

De onderzoekers konden systeemprompts zien, dit zijn de instructies die bepalen hoe het model zich gedraagt, in ongeveer een kwart van de LLM's die ze observeerden. Daarvan bepaalden ze dat 7,5% mogelijk schadelijke activiteit zou kunnen faciliteren.

Ongeveer 30% van de hosts die door de onderzoekers werden geobserveerd, opereert vanuit China, en ongeveer 20% in de VS.

Rachel Adams, de CEO en oprichter van het Global Center on AI Governance, zei in een e-mail dat zodra open modellen worden uitgebracht, de verantwoordelijkheid voor wat er daarna gebeurt gedeeld wordt over het ecosysteem, inclusief de oorspronkelijke laboratoria.

"Laboratoria zijn niet verantwoordelijk voor elk misbruik verderop in de keten (dat moeilijk te voorzien is), maar ze behouden een belangrijke zorgplicht om voorzienbare schade te anticiperen, risico's te documenteren en tools en richtlijnen voor risicovermindering te bieden, vooral gezien de ongelijke wereldwijde handhavingscapaciteit," zei Adams.

Een woordvoerder van Meta weigerde te reageren op vragen over de verantwoordelijkheden van ontwikkelaars voor het aanpakken van zorgen rond misbruik verderop in de keten van open-source modellen en hoe zorgen kunnen worden gemeld, maar wees op de Llama Protection-tools van het bedrijf voor Llama-ontwikkelaars, en de Meta Llama Responsible Use Guide van het bedrijf.

Microsoft AI Red Team Lead Ram Shankar Siva Kumar zei in een e-mail dat Microsoft gelooft dat open-source modellen "een belangrijke rol spelen" op verschillende gebieden, maar "tegelijkertijd zijn we realistisch dat open modellen, zoals alle transformatieve technologieën, misbruikt kunnen worden door tegenstanders als ze worden uitgebracht zonder passende veiligheidsmaatregelen."

Microsoft voert evaluaties vóór de release uit, inclusief processen om "risico's voor op internet blootgestelde, zelf-gehoste en tool-calling scenario's te beoordelen, waar misbruik hoog kan zijn," zei hij. Het bedrijf monitort ook op opkomende bedreigingen en misbruikpatronen. "Uiteindelijk vereist verantwoorde open innovatie gedeelde toewijding van makers, implementeerders, onderzoekers en beveiligingsteams."

Ollama reageerde niet op een verzoek om commentaar. Alphabet's Google en Anthropic reageerden niet op vragen. – Rappler.com