Visual Memory Injection Attacks for Multi-Turn Conversations
Authors:Christian Schlarmann, Matthias Hein
Deep-Dive Summary:
针对多轮对话的视觉记忆注入攻击 (Visual Memory Injection Attacks for Multi-Turn Conversations)
摘要
生成式大型视觉语言模型（LVLM）近期取得了显著进展，用户群体迅速增长。然而，LVLM 在长文本、多轮对话设置下的安全性尚未得到充分探索。本文考虑了一种现实的攻击场景：攻击者将一张经过篡改的图像上传到网络或社交媒体，普通用户下载此图像并将其作为输入传给 LVLM。我们提出了一种新型的隐蔽式**视觉记忆注入（Visual Memory Injection, VMI）**攻击。该攻击设计精巧，使得 LVLM 在面对普通提示词时表现出正常行为；但一旦用户给出触发式提示词，模型就会输出预设的特定目标信息以操纵用户（例如进行对抗性营销或政治说服）。与以往关注单轮攻击的研究相比，VMI 在与用户进行长达多轮的对话后依然有效。我们在多个近期开源的 LVLM 上验证了该攻击，证明了通过扰动图像在多轮对话中大规模操纵用户是可行的，并呼吁加强 LVLM 对此类攻击的防御能力。
图 1. 视觉记忆注入。攻击者通过 VMI 对图像进行微小扰动并上传。当不知情的用户在对话中使用该图像时，模型在多轮对话中表现正常。然而，当用户询问触发话题（如股票建议）时，模型会输出注入的目标内容（如“购买 GameStop 股票”）。
2. 相关工作
- 针对 LVLM 的对抗攻击：包括越狱攻击和单轮设定下的目标攻击。
- 针对 LLM 的提示注入：研究如何通过外部数据流操纵模型的内存。
- 多轮攻击：先前主要关注 LLM 或 LVLM 的越狱（绕过安全防护），而本文关注的是针对诚实用户的隐蔽操纵。
- 中毒攻击：与在训练阶段植入后门的攻击不同，VMI 不需要控制训练过程。
4. 视觉记忆注入攻击 (VMI)
4.1 动机
利用图像在对话上下文中的持久性（“视觉记忆”），设计一种即使在多次无关对话后仍能被特定话题激活的攻击。
4.2 威胁模型
攻击者在图像中嵌入不可察觉的ℓ ∞ \ell_{\infty}ℓ∞扰动（半径ϵ = 8 / 255 \epsilon = 8/255ϵ=8/255）。用户使用该图进行正常对话，攻击仅在触发话题出现时激活。
表 1. 提示词与目标输出示例。包括手机/汽车推荐、政治投票和股票建议等场景。
4.3 核心机制
- 上下文循环 (Context-Cycling)：在优化过程中，周期性地变换对话上下文的长度（从c ( 2 ) c^{(2)}c(2)到c ( n ) c^{(n)}c(n)），以增强攻击在不同对话阶段的鲁棒性。
- 良性行为锚定 (Benign Behavioral Anchoring)：联合优化两个目标：一是确保模型在第一轮对非触发提示做出有用的良性响应；二是确保在第n nn轮对触发提示做出攻击响应。
最终优化目标函数为：
max x ~ log p ( y Φ ∣ t Φ , x ~ ) + log p ( y Φ ∣ c ( k ) ⊕ t Φ , x ~ ) ( 7 ) \max_{\tilde{x}}\log p(y_{\Phi}|t_{\Phi},\tilde{x}) + \log p(y_{\Phi}|c^{(k)}\oplus t_{\Phi},\tilde{x}) \quad (7)x~maxlogp(yΦ∣tΦ,x~)+logp(yΦ∣c(k)⊕tΦ,x~)(7)
其中∥ x ~ − x ∥ ∞ ≤ ϵ \|\tilde{x} - x\|_{\infty} \leq \epsilon∥x~−x∥∞≤ϵ，k kk在 2 到n nn之间循环。
算法 1 视觉记忆注入 (VMI)
（详细步骤见原文，涉及使用 APGD 进行扰动优化和上下文长度循环切换）
5. 实验
5.1 设置
- 模型：Qwen2.5-VL-7B, Qwen3-VL-8B, LLaVA-OneVision-1.5-8B。
- 数据集：COCO 随机图像及 LMARKS（地标图像）。
- 指标：结合攻击成功率S R Λ SR_{\Lambda}SRΛ，要求目标触发成功且在无关对话中无泄露。
5.2 结果分析
图 2. 主要结果。展示了 VMI 在不同模型和目标下的成功率。即使经过多轮对话，VMI 依然保持高成功率。
- 泛化能力：攻击对于未见过的提示词（Diverse, Holiday）依然有效，证明扰动编码了稳健的触发行为。
- 提示词改写：即使改写了触发提示词，攻击依然有效（图 3）。
- 模型迁移性：攻击可以从开源基础模型迁移到基于其微调的私有模型（图 5）。
图 3. 改写提示词的迁移性。
图 5. 迁移攻击。在 Qwen3-VL 上优化的图像在微调后的模型（SEA-LION, Med3）上依然有效。
5.3 消融实验
通过对比实验（图 4）证明，单目标攻击在多轮对话中会失效，而“良性锚定”和“上下文循环”对于 VMI 的成功至关重要。
图 4. 攻击基准对比。VMI 的完整版本表现最优。
图 6. 独立指标。展示了目标成功率与上下文泄露率的权衡。
6. 结论 (Conclusion)
本文介绍了视觉记忆注入 (Visual Memory Injection, VMI)，这是一种针对多轮大语言视觉模型 (LVLM) 对话的隐蔽针对性攻击，该攻击利用了图像在 LVLM 上下文中的持久性。通过结合“良性锚定”（以维持在非触发提示下的常规行为）与“上下文循环”（以保持跨上下文长度的有效性），VMI 可以使 LVLM 仅在特定触发话题出现时才输出预设的目标消息，即使在经历了长时间的无关交互之后也是如此。VMI 在未见过的提示集和转述的触发语上具有良好的迁移性，这凸显了利用看似无害的图像进行大规模用户操纵的可行性。我们的研究结果表明，评估 LVLM 的安全性不应仅看模型是否直接拒绝违规请求，还应关注在长时间的正常交互后，模型是否会被悄悄引导至特定的输出。
局限性：尽管我们展示了该攻击在微调模型变体上的迁移性，但我们的攻击仍需要对基础模型进行白盒访问；针对仅通过 API 访问的模型开发攻击仍是一项开放性挑战。此外，我们将对话限制为仅包含单张输入图像。
影响声明 (Impact Statement)
随着大语言视觉模型 (LVLM) 被部署到聊天机器人和智能体中，它们每天都会接待数百万用户。这项工作识别了 LVLM 的一类新型安全风险：恶意第三方可以分发经过细微处理的图像，这些图像能够持久存在于聊天上下文中，并在特定话题出现时引导模型响应，从而实现隐蔽广告或操纵金融/政治建议等规模化危害。通过对这种威胁进行形式化和评估，我们的目标是支持更安全的模型部署。更广泛地说，研究结果强调，多模态助手的安全性评估应当考虑长上下文交互，而非仅关注单轮行为。
致谢 (Acknowledgements)
我们感谢国际马克斯·普朗克智能系统研究学院 (IMPRS-IS) 对 Christian Schlarmann 的支持。我们感谢德国科学基金会 (DFG) 在德国卓越战略（EXC 编号 2064/1，项目编号 390727645）以及优先计划 SPP 2298（项目编号 464101476）下的资助。本材料中表达的任何观点、发现、结论或建议均为作者观点，不一定反映赞助方的意见。
Original Abstract:Generative large vision-language models (LVLMs) have recently achieved impressive performance gains, and their user base is growing rapidly. However, the security of LVLMs, in particular in a long-context multi-turn setting, is largely underexplored. In this paper, we consider the realistic scenario in which an attacker uploads a manipulated image to the web/social media. A benign user downloads this image and uses it as input to the LVLM. Our novel stealthy Visual Memory Injection (VMI) attack is designed such that on normal prompts the LVLM exhibits nominal behavior, but once the user gives a triggering prompt, the LVLM outputs a specific prescribed target message to manipulate the user, e.g. for adversarial marketing or political persuasion. Compared to previous work that focused on single-turn attacks, VMI is effective even after a long multi-turn conversation with the user. We demonstrate our attack on several recent open-weight LVLMs. This article thereby shows that large-scale manipulation of users is feasible with perturbed images in multi-turn conversation settings, calling for better robustness of LVLMs against these attacks. We release the source code at https://github.com/chs20/visual-memory-injection
PDF Link:2602.15927v1
)
