开源人工智能模型易遭犯罪滥用,研究人员警告

研究人员于1月29日星期四表示,黑客和其他犯罪分子可以轻易控制在主要人工智能平台的护栏和限制之外运行开源大型语言模型的电脑,从而造成安全风险和漏洞。

研究人员表示,黑客可以瞄准运行大型语言模型的电脑,并指示它们执行垃圾邮件操作、网络钓鱼内容创建或虚假信息宣传活动,从而规避平台安全协议。

这项由网络安全公司SentinelOne和Censys在293天内联合进行并独家与路透社分享的研究,为数千个开源大型语言模型部署的潜在非法使用案例规模提供了新的视角。研究人员表示,这些案例包括黑客攻击、仇恨言论和骚扰、暴力或血腥内容、个人数据盗窃、诈骗或欺诈,以及在某些情况下的儿童性虐待材料。

研究人员表示,虽然存在数千种开源大型语言模型变体,但互联网可访问主机上的大型语言模型中有相当一部分是Meta的Llama、Google DeepMind的Gemma等的变体。虽然一些开源模型包含护栏,但研究人员发现了数百个明确移除护栏的实例。

SentinelOne情报和安全研究执行董事Juan Andres Guerrero-Saade表示,人工智能行业关于安全控制的讨论"忽视了这种明显被用于各种不同用途的剩余容量,其中一些是合法的,一些显然是犯罪的"。Guerrero-Saade将这种情况比作整个行业和开源社区没有正确考虑的"冰山"。

研究检查系统提示

该研究分析了通过Ollama部署的可公开访问的开源大型语言模型部署,Ollama是一种允许个人和组织运行各种大型语言模型版本的工具。

研究人员能够在他们观察到的大约四分之一的大型语言模型中看到系统提示,即指示模型行为方式的指令。其中,他们确定7.5%可能会助长有害活动。

研究人员观察到的主机中约30%在中国运营,约20%在美国。

全球人工智能治理中心首席执行官兼创始人Rachel Adams在一封电子邮件中表示,一旦开放模型发布,接下来发生的事情的责任就会在整个生态系统中分担,包括原始实验室。

Adams说:"实验室不对每一次下游滥用负责(这很难预测),但它们保留着重要的谨慎义务,以预测可预见的危害、记录风险并提供缓解工具和指导,特别是考虑到全球执法能力不均衡。"

Meta的发言人拒绝回答有关开发人员解决开源模型下游滥用问题的责任以及如何报告问题的问题,但指出了该公司为Llama开发人员提供的Llama Protection工具以及该公司的Meta Llama负责任使用指南。

微软人工智能红队负责人Ram Shankar Siva Kumar在一封电子邮件中表示,微软相信开源模型在各个领域"发挥着重要作用",但"与此同时,我们清楚地认识到,开放模型与所有变革性技术一样,如果在没有适当保障措施的情况下发布,可能会被对手滥用"。

他说,微软进行发布前评估,包括评估"互联网暴露、自托管和工具调用场景的风险,这些场景的滥用可能很高"的流程。该公司还监控新出现的威胁和滥用模式。"最终,负责任的开放创新需要创建者、部署者、研究人员和安全团队之间的共同承诺"。

Ollama没有回应置评请求。Alphabet旗下的Google和Anthropic没有回应问题。– Rappler.com