AI 本身并不具有敌意。它只是一种工具。改变的是它现在能多么廉价和快速地融入已经奏效的电子邮件攻击中。
攻击链并没有演变。它们变得更加经济。网络钓鱼、商业电子邮件入侵和凭证盗窃。相同的机制,但文案更好、制作更快。语言错误消失了。目标更加精准。曾经需要数天的攻击活动现在几分钟内就能完成。
防御者也在使用 AI。每个人都在使用。但攻击者的数量仍然占优势。大规模生成令人信服的电子邮件比在不干扰正常邮件流或让团队被误报淹没的情况下调整检测模型更容易。
因此,风险不是新的 AI 超级武器。而是熟悉的技术,经过自动化、优化,并且部署速度超过大多数防御措施的适应速度。这个差距就是收件箱不断被攻破的地方。
本文分析了实际改变的内容、没有改变的内容,以及电子邮件安全策略如何做出相应调整。
生成式 AI 如何改变电子邮件攻击
AI 为攻击者提供的是更少努力下的速度和可靠性。网络钓鱼和鱼叉式网络钓鱼仍然造成最大的损害,但 AI 生成的攻击活动消除了防御者多年来依赖的许多迹象。消息更清晰、更一致,并且在过滤器发现时易于重新生成。
目标定位也得到了改善。公开的数据泄露、抓取的社交资料、职位发布和泄露的文档为理解角色、供应商和内部语言的模型提供数据。结果是一封引用真实工具、真实项目和真实人员的电子邮件。
侦察和迭代现在已经自动化。主题行、时间和措辞大规模测试,然后根据谁点击或回复进行调整。这个反馈循环过去是手动的。现在它持续运行,这就是为什么安全团队看到的明显危险信号越来越少,而落入灰色地带的消息越来越多。
世界经济论坛等组织的报告显示,与 AI 相关的风险增长速度快于大多数其他类别。生成式数据泄露和对抗性使用反复出现。一旦你看到 AI 工具多快传播到日常工作流程中,这些都不足为奇。
不同的是意识。IT 团队现在看到了暴露,无论是在组织外部还是内部。影子工具、提示泄露、在敏感数据上训练的模型。熟悉的问题,只是贴上了新标签。
传统电子邮件防御为何困难重重
语言曾经是一个可靠的信号。笨拙的措辞、语法错误和不匹配的语气会暴露网络钓鱼活动。这个优势已经消失了。
AI 生成的电子邮件不会像旧模板那样重复。每条消息看起来都可能略有不同,但仍然传达相同的意图。当没有稳定的模式可以锚定时,基于模式的检测就会遇到困难。
这就是为什么安全团队看到更多乍一看感觉正常的消息。它们引用真实的对话。时间与工作日和截止日期一致。没有什么足够快地跳出来触发用户或过滤器的警惕。
检测已经从发现不良语言转变为发现不合理的行为。通常谁发送这种类型的消息?他们什么时候发送。收件人通常如何回应。这些问题比电子邮件如何撰写更重要。
生成式 AI 系统和不断扩大的风险
外部攻击只是问题的一半。当防护措施薄弱或不存在时,内部 AI 系统会带来自己的暴露。
AI 助手扩大攻击面
当组织推出可访问电子邮件和内部文档的聊天机器人和助手时,操作控制往往滞后。通过对抗性提示,安全性差的 AI 工具可以泄露敏感信息而不会触发明显的警报。风险不是假设性的。这是在没有可见性了解如何使用该访问权限的情况下授予广泛访问权限的后果。
代理系统成倍增加影响
代理系统增加了另一层风险。当允许 AI 采取行动而不仅仅是回答问题时,攻击者可以滥用这些工作流程来自动化他们曾经手动处理的任务。如果访问控制松散,网络钓鱼准备、内部查找和数据收集都可以链接在一起。过去需要时间和协调的事情现在在后台静默运行。
影子 AI 绕过现有控制
影子 AI 使情况变得更糟。当员工将内部数据连接到未经批准的工具时,它完全绕过了现有的安全控制。该上下文不会长期保持私密,一旦泄露,它会直接输入下一波个性化攻击。从安全角度来看,这些工具创建的盲点在造成损害之前不会出现在日志中。
速度超越治理
速度往往超过治理。这种权衡在电子邮件中很快显现出来,因为对系统生成消息的信任已经很高。当 AI 输出感觉常规且权威时,用户行动更快,质疑更少。这种隐性信任正是攻击者寻找的。
组织如何适应
防御者并不试图在生成上超越攻击者。那是一场必输的游戏。改变的是团队如何决定什么看起来不对劲。
静态规则和关键词匹配正在让位于行为信号,当消息与发件人通常的沟通方式或收件人通常的回应方式不一致时会标记。随着时间推移查看对话流程提供了单个消息永远无法提供的上下文。
身份控制也承担着更大的权重。更强的身份验证、更严格的访问策略和对内部发件人更好的验证减少了当冒充通过时的影响。及早阻止虚假的内部消息比完美分类每个外部消息更重要。
组织也在收紧自己的 AI 治理。关于什么数据可以输入工具、如何记录提示以及谁可以部署助手的政策开始类似于早期云采用周期的数据丢失控制。
AI 辅助检测在人类和静态逻辑不足的地方效果最好。它可能无法孤立地正确标记每条消息,但它会随着时间的推移浮现出不合理的模式。
仍然重要的实际步骤
针对 AI 驱动的电子邮件攻击有效的大多数防御措施并不新鲜。改变的是它们执行的一致性以及它们与攻击实际发生方式的匹配程度。
- 身份验证仍然重要。
当正确执行时,DMARC、SPF 和 DKIM 继续减少冒充。当这些控制松散或不一致应用时,攻击者不需要高级工具就能成功。AI 只是帮助他们更快地通过已经存在的漏洞。 - 数据暴露助长个性化。
公开的组织结构图、供应商关系、职位发布和内部文档使构建令人信服的诱饵变得更容易。攻击者能够抓取的上下文越多,他们的消息就越可信。减少不必要的暴露直接限制了 AI 驱动的目标定位的有效性。 - 培训必须反映真实攻击。
通用的网络钓鱼示例无法让用户为引用真实工具、真实项目和真实人员的消息做好准备。演习需要反映团队实际看到的内容,而不是过滤器用来捕获的内容,否则信任将继续被错误放置。 - 内部 AI 系统需要生产级审查。
助手和聊天机器人应该像任何其他关键服务一样对待。应该记录访问。权限应该是最小的。应该监控使用模式。如果攻击者可以从内部 AI 工具中提取上下文,他们将在下一波攻击中重复使用它。
展望未来
AI 驱动的攻击不会改变基本面。社会工程仍然有效,因为人们信任看起来熟悉的东西,而 AI 使这种熟悉性更便宜且更容易大规模复制。
电子邮件仍然是主要的传递渠道,因为它连接一切。供应商、发票、密码重置、云应用程序、内部工作流程。即使在具有成熟控制的环境中,它仍然处于大多数事件的开端。
更大的风险是内部的。未经管理的 AI 采用创建了攻击者可以重用、自动化和完善的上下文。直接解决该暴露的团队减少了电子邮件驱动的事件,并避免向攻击者提供他们不需要自己生成的材料。
