将视觉-大语言模型整合到自动驾驶系统：能力与挑战

链接表

摘要和1. 引言

1. 相关工作

   2.1 视觉-大语言模型

   2.2 可迁移对抗攻击

2. 预备知识

   3.1 重新审视自回归视觉-大语言模型

   3.2 基于视觉-大语言模型的自动驾驶系统中的印刷攻击

3. 方法论

   4.1 印刷攻击的自动生成

   4.2 印刷攻击的增强

   4.3 印刷攻击的实现

4. 实验

5. 结论和参考文献

2 相关工作

2.1 视觉-大语言模型

大语言模型（LLMs）在各种自然语言基准测试中展示了推理能力后，研究人员通过视觉编码器扩展了LLMs以支持多模态理解。这种集成催生了各种形式的视觉-大语言模型，能够基于视觉和语言输入的组合进行推理。

\ 视觉-大语言模型预训练。 LLMs与预训练视觉模型之间的互连涉及单模态编码器在各自领域的单独预训练，随后进行大规模视觉-语言联合训练[17, 18, 19, 20, 2, 1]。通过交错的视觉语言语料库（如MMC4 [21]和M3W [22]），自回归模型学习通过将图像转换为视觉标记来处理图像，将这些标记与文本标记结合，并将它们输入到LLMs中。视觉输入被视为一种外语，通过启用视觉理解同时保留其语言能力来增强传统的纯文本LLMs。因此，简单的预训练策略可能无法处理输入文本与图像中的视觉文本显著对齐而非与该图像的视觉上下文对齐的情况。

\ 自动驾驶系统中的视觉-大语言模型。 视觉-大语言模型在自动驾驶（AD）系统的感知、规划、推理和控制方面已证明其有用性[6, 7, 9, 5]。例如，现有工作已定量评估了视觉-大语言模型在解释AD决策过程方面的语言能力及其可信度[7]。其他研究探索了视觉-大语言模型在车辆操纵方面的应用[8, 5]，[6]甚至在受控物理环境中验证了一种方法。由于AD系统涉及安全关键情况，对其漏洞的全面分析对于可靠部署和推理至关重要。然而，将视觉-大语言模型应用于AD的提议一直很直接，这意味着如果没有适当的对策，此类模型中的现有问题（例如，对印刷攻击的漏洞）可能仍然存在。

\

:::info 作者:

(1) Nhat Chung, CFAR和IHPC, A*STAR, 新加坡和VNU-HCM, 越南;

(2) Sensen Gao, CFAR和IHPC, A*STAR, 新加坡和南开大学, 中国;

(3) Tuan-Anh Vu, CFAR和IHPC, A*STAR, 新加坡和香港科技大学, 香港特别行政区;

(4) Jie Zhang, 南洋理工大学, 新加坡;

(5) Aishan Liu, 北京航空航天大学, 中国;

(6) Yun Lin, 上海交通大学, 中国;

(7) Jin Song Dong, 新加坡国立大学, 新加坡;

(8) Qing Guo, CFAR和IHPC, A*STAR, 新加坡和新加坡国立大学, 新加坡.

:::

:::info 本论文可在arxiv上获取，采用CC BY 4.0 DEED许可证。

:::

\