由 Oluwapelumi Bankole 撰写,内华达大学拉斯维加斯分校信息系统与网络安全研究员
每天早晨,数百万美国人在充满联网设备的家中醒来。恒温器知道你何时离开。门铃摄像头监视着你的街道。路边的医院运行着输液泵、病人监护仪和暖通空调系统,它们通过与你的智能冰箱相同类别的网络进行通信。而这些设备几乎都没有得到充分保护。
我们建立了一个非凡的联网机器基础设施,却用为不同时代设计的工具来防御它。
这不是认知问题。网络安全是联邦政府的首要任务。网络安全和基础设施安全局(CISA)每周发布咨询公告。数十亿美元流入企业防火墙、端点保护和安全运营中心。然而,攻击面却持续扩大。截至2024年,仅美国电网就托管着超过230万台联网物联网设备,其中许多运行着过时的固件,没有补丁计划,也没有监控措施。
差距不在于我们所知与我们所惧之间。差距在于我们建立的安全系统与这些系统实际需要运行的环境之间。
实验室与现实世界毫不相似
入侵检测系统,即用于标记网络上恶意活动的软件,在过去十年中有了显著改进。机器学习和深度学习模型现在能够在研究环境中以惊人的准确度识别攻击模式。从自然语言处理借鉴的Transformer架构、在顺序流量数据上训练的长短期记忆网络、结合多个分类器的集成模型:学术文献中充满了达到98%或99%准确率的系统。
这些数字往往具有误导性。
准确率数据通常来自实验室数据集,在受控条件下收集,具有相对干净的流量分布,并在模型训练所用的相同类型数据上进行测试。真实的物联网网络并非如此。它们混乱、异构且不断变化。来自十几个制造商的设备以不同格式发送数据。当有人安装新设备、改变日常习惯或仅仅离开一周时,流量模式就会改变。而关键的是,在正常流量的海洋中,实际攻击是罕见事件。
当一个模型在攻击占记录40%的数据集上训练,然后部署在攻击仅占实际流量0.1%的网络上时,模型的行为会完全改变。它从未学习过真正的稀有性是什么样的。结果是一个系统错过了它本应捕获的威胁,同时产生足够多的误报,让必须审查它们的分析师不堪重负。
类别不平衡问题不是脚注
在研究界,训练数据与现实世界条件之间的不匹配有一个技术名称:类别不平衡。它被充分理解、积极研究,但部署这些系统的组织却始终低估它。
核心问题如下。网络入侵检测系统必须将每个数据包或流量流分类为正常或恶意。实际上,绝大多数流量是正常的。攻击流量是少数类别,有时仅占所有观察事件的不到1%。为最大化整体准确率而优化的标准机器学习模型很快就会了解到,最佳策略就是简单地将几乎所有内容分类为正常。这种策略产生出色的准确率分数。它产生灾难性的现实世界结果。
一个因被训练偏向多数类别而错过80%攻击的系统不是安全系统。它只是合规复选框。
对自适应SMOTE等技术的研究已显示出真正的前景,该技术生成少数类别攻击的合成样本,以帮助模型学习罕见威胁的样子。但这些方法需要经过深思熟虑地实施,针对真正反映部署条件的数据集进行测试,并根据正确的指标进行评估。召回率,即系统实际捕获的真实攻击百分比,当漏检的后果是医院的勒索软件感染或向公用事业控制系统注入虚假数据时,远比整体准确率重要得多。
没人想解决的多维问题
还有一个相关问题受到的关注更少:我们如何决定入侵检测系统是否足够好以供部署。
大多数评估选择一两个指标并针对它们进行优化。准确率很常见。F1分数在学术论文中很受欢迎。但现实世界的物联网部署需要同时在至少四个相互竞争的维度之间进行权衡:检测准确率、计算效率、误报率和对新攻击类型的适应性。
一个能检测99%已知攻击但消耗的处理能力超过其保护的物联网设备的系统不是可部署的系统。一个运行高效但每个真实威胁产生十个误报的系统会造成严重的警报疲劳,导致分析师停止调查。一个针对当今攻击分类法优化但在对手改变战术时无法适应的系统是一个有已知到期日期的系统。
缺乏共享的多维评估框架意味着购买或部署入侵检测系统的组织无法进行有意义的比较。供应商可以声称行业领先的检测率,同时悄悄针对一个在演示中看起来不错但在生产中失败的指标进行优化。
需要改变什么
前进的道路需要缩小研究人员构建的内容与运营商实际部署的内容之间的距离。
首先,研究界需要针对现实的流量分布而非仅仅平衡的基准数据集来评估入侵检测系统。使用默认配置针对CIC-IDS2017或NSL-KDD进行测试产生的数字,与真实医院网络或智能电网的样子相比,基本上是虚构的。
其次,部署这些系统的组织需要在购买前要求多维性能证据。仅有检测率是不够的。询问罕见攻击类别的假阴性率。询问在受限计算预算下的性能数据。询问系统在部署六个月后、当流量模式已经改变时的表现如何。
第三,也是最紧迫的,负责保护关键基础设施的联邦机构需要为基于人工智能的入侵检测建立最低评估标准。CISA和NIST已经制定了出色的框架。将这些框架转化为物联网安全系统的具体、可测试的性能标准是下一步。
联网设备不会消失。探测它们的攻击者也不会消失。问题是我们构建用于保护它们的系统是否真正为这些系统将运行的世界而构建,还是为我们在编写训练数据时希望生活的世界而构建。
Oluwapelumi Bankole是内华达大学拉斯维加斯分校信息系统和网络安全研究员,他的工作重点是物联网和云网络的人工智能驱动入侵检测。他拥有管理信息系统和网络安全双硕士学位。
