代理式人工智能(AI)承诺将改变组织的运作方式。与早期设计用于总结文档或生成内容的AI工具不同,这些系统可以自主行动、执行任务并与企业系统互动。对于监督技术风险的董事会来说,这种转变引入了一个根本不同的安全问题类别。信息系统安全协会(ISSA)国际副主席兼美国空军预备役进攻性网络官员Laura I. Harder认为,许多领导者低估了这些风险出现的速度。"组织面临的风险实际上归结为拥有过多的代理权,"Harder说。"代理可以更改权限、更改功能并创建你可能没有预料到的操作。"随着组织从试验AI转向运营自主代理,董事会必须同样迅速地建立治理结构、防护措施和监督机制,以管理能够在没有人为干预的情况下做出决策并采取行动的系统。
代理式AI改变了安全方程式
在过去几年中,大多数企业AI部署都集中在分析信息或生成输出的工具上。这些功能引入了隐私和数据完整性问题,但系统本身很少在企业环境中执行操作。代理式AI改变了这种动态。代理不再只是提供建议或筛选简历,而是可以触发工作流程、访问数据库并与整个组织的软件系统互动。"它现在不仅仅是给我们建议。它正在采取行动并自主运作,"Harder说。
这种自主性带来了新的安全挑战,因为系统可能被操纵。就像人类可能落入社交工程的陷阱一样,AI代理可以通过提示注入等技术被欺骗执行非预期的任务。Harder指出了现实世界中的例子,其中嵌入在输入中的隐藏指令改变了AI的行为方式。"AI将根据给予它的指令行事,"她说。许多AI模型的不透明性加剧了这些威胁。组织通常依赖第三方工具,却无法完全了解决策是如何做出的。结果是一个能够执行操作的系统,同时以难以预测的方式运作。
董事会经常忽视的隐藏风险
当董事会开始评估代理式AI时,Harder说最被低估的漏洞是权限。每个AI代理都在系统、数据源和应用程序的网络中运行。授予这些系统的访问级别决定了出错时可能造成的损害。Harder将此描述为系统的"爆炸半径"。被授予广泛权限的代理可能能够与比领导者意识到的多得多的数据和基础设施互动。
一个常见的例子发生在AI系统连接到内部协作工具或文档存储库时。如果一个广泛共享的文件夹包含敏感信息,在该环境中运行的代理将能够在授予用户、服务帐户或其运行的集成的权限范围内访问和使用该数据。实际上,这意味着代理可以显示或处理可能已被广泛访问但未被积极监控的信息。
第三方AI服务引入了额外的风险层。"如果你使用某个模型,该模型可以访问哪些信息,你的信息能否用于训练该模型?"Harder问道。如果没有明确的控制,专有信息、知识产权或敏感的客户数据可能会通过AI互动无意中离开组织。
建立能够跟上AI步伐的治理
AI治理必须被视为一个结构化的计划,而不是技术附加组件。组织应该首先建立一个专门的AI治理委员会,通常以现有的隐私或风险治理委员会为模型。该小组应采用既定的框架,如NIST AI风险管理框架或ISO 42001等国际标准。"拥有AI治理和AI保护不仅仅是你可以购买的产品,"她说。
这些框架提供了有关政策、风险评估和运营控制的指导。但它们仍然需要组织定义AI将如何在其环境中运行以及允许其访问哪些数据。"你需要政策、程序和清单,"Harder说。"这些部分将帮助建立你的团队可以使用的基础设施。"一个新兴的做法是创建"AI物料清单",清点组织内使用的每个AI工具、它连接到哪些系统以及可以访问哪些数据。如果没有这种可见性,组织就无法完全了解自主系统与企业基础设施互动所产生的风险。
防止AI失控的防护措施
即使有了治理结构,代理系统也需要限制其运作方式的技术保障措施。最有效的策略是从一开始就设计安全控制。系统最初应在封闭、受控的沙箱环境中使用测试数据(而非生产数据)和有限权限进行开发。"在构建你的代理系统时,你应该在沙箱中进行,"她说。"这是一个受控环境,合成系统可以在低风险和无权限的情况下运行。"
测试还必须包括红队演练,安全专业人员尝试破坏系统或操纵其行为。这些演练在系统部署到生产环境之前暴露了漏洞。"让人类参与其中可以确保如果你的AI工具决定做出你可能不希望它做出的决定时,会有某种限制,"Harder说。隔离技术也可以限制风险。在某些架构中,代理被包含在虚拟机内,其中的政策限制了它们可以执行的命令和可以访问的系统。
董事会监督最终很重要
对于董事会来说,代理式AI的兴起是一个治理和问责挑战,Harder强调组织对其AI系统采取的行动仍负有责任。"你不能回过头来说,'我不知道它能做到这一点,'"她说。"你必须尽职调查。"这种责任既有法律意义,也有受托意义。董事会必须确保自主技术的实施具有明确的监督、受限的权限和持续的监控。"在你能证明它具有受限的权限、人工检查点和监控之前,不要将代理连接到特权工具,"Harder说。随着代理式AI继续从试验阶段进入核心运营,成功的组织将是那些将治理和安全视为基础要求而非事后想法的组织。
在LinkedIn上关注Laura I. Harder 以获取更多见解。
