2024 年 5 月，arXiv 平台上发布了一篇名为《镜中攻击者》（The Attacker in the Mirror）的研究论文，作者在文中展示了一种绕过大语言模型防御机制的全新方法。研究人员并未采用外部攻击或针对恶意样本的微调，而是利用了一种被称为“锚定双策略自博弈”（anchored bipolicy self-play）的技术，让同一个模型同时扮演攻击者和防御者的角色，并通过锚定约束来维持其基本策略。
该机制的核心在于模型在自博弈过程中会生成两类轨迹：一类尝试违反自身的安全规则，另一类则试图阻止这些违规行为。通过“锚点”（anchor）锁定原始策略，既能防止模型性能彻底退化，又能揭示其在自洽性方面的内在矛盾。经过数轮迭代后，模型最终能够成功生成原本会被屏蔽的违规内容。
研究表明，即使是经过强化学习人类反馈（RLHF）和宪法 AI（Constitutional AI）训练的模型，在面对自身发起的攻击时，防御能力也会大幅下降。在原本拒绝率超过 95% 的基准测试中，经过 10 到 15 轮自博弈后，攻击成功率竟飙升至 40% 到 60%。与此同时，通过标准测试评估的外部安全指标却几乎保持不变。
从方法论角度看，这项工作与以往研究的不同之处在于，它不需要访问模型权重或进行额外的训练。攻击过程完全在单个模型的上下文窗口内通过角色交替完成。这使得该攻击手段极具危险性：只要模型支持足够长的上下文，并能同时维持两种不冲突的策略，即使是没有特殊权限的普通用户也能实施此类攻击。
与 Anthropic 关于“潜伏特工”（sleeper agents）的研究或通过对抗性提示进行红队测试的方法相比，这种方法不再寻找外部触发器，而是利用了模型策略的内部结构。相比于需要在训练阶段进行数据投毒的“潜伏特工”研究，锚定双策略自博弈直接作用于已训练完成的模型，能够挖掘出常规使用中难以察觉的漏洞。
对人工智能社区而言，这意味着目前依赖静态测试和外部红队协作的安全评估方法已显得力不从心。模型在各项标准指标上可能表现得非常安全，但面对其自身生成的攻击时依然脆弱不堪。这一发现让人们开始质疑那些将“策略自洽性”视为核心防御机制的方法是否真的可靠。
