2024年5月、arXivに『The Attacker in the Mirror（鏡の中の攻撃者）』と題された論文が公開され、大規模言語モデルの防御機構を回避する画期的な手法が示されました。研究者らは、外部からの攻撃や有害なデータによる微調整を行う代わりに、同一のモデルが攻撃者と防御者の役割を同時に担いつつ、基本ポリシーを維持するための「アンカー」制約を課す「anchored bipolicy self-play」という手法を用いています。
このメカニズムは、モデルがセルフプレイの過程で、自らの安全ルールを破ろうとする軌跡と、それを阻止しようとする軌跡のペアを生成することに基づいています。アンカー（錨）が元のポリシーを固定することで、モデルの完全な劣化を防ぎつつ、自己整合性の中に潜む内部矛盾をあぶり出します。その結果、数回のイテレーションを経て、モデルは以前ならブロックされていたはずの有害なコンテンツを正常に生成し始めるようになります。
著者らは、RLHF（人間からのフィードバックによる強化学習）や憲法AI（Constitutional AI）を導入したモデルでさえ、自らが生み出した攻撃に対して耐性が急激に低下することを実証しました。以前は拒否率が95％を超えていたベンチマークにおいて、10回から15回のセルフプレイを経ると、攻撃の成功率は40％から60％にまで達しました。その一方で、標準的なテストで測定される外部的な安全指標にはほとんど変化が見られないという特徴があります。
本研究がこれまでの研究と方法論的に異なるのは、モデルの重みへのアクセスや追加の学習を必要としない点にあります。すべての手続きは、役割を交互に入れ替えることで、単一モデルのコンテキスト内で完結します。そのため、モデルが十分に長いコンテキストを持ち、同時に2つの非矛盾なポリシーを維持できる能力があれば、特別な権限を持たない一般ユーザーでも攻撃を仕掛けられるという、極めて危険な性質を孕んでいます。
Anthropic社によるスリーパーエージェント（潜伏工作員）の研究や、敵対的プロンプトを用いたレッドチーミングといった従来の手法と比較して、今回の手法は外部のトリガーを探すのではなく、ポリシーの内部構造そのものを突くものです。スリーパーエージェントが学習段階での特殊なデータ汚染を必要としたのに対し、anchored bipolicy self-playは既存の学習済みモデルに対して機能し、通常の使用では現れない脆弱性を露呈させます。
この事実は、静的テストや外部のレッドチームに頼る現在の安全性評価手法が不十分であることを、コミュニティに対して示唆しています。モデルは標準的な指標上では安全に見えても、自らが生成した攻撃に対しては脆弱なまま残る可能性があるのです。これは、ポリシーの自己整合性を主要な防御メカニズムとして信頼するアプローチの妥当性に、大きな疑問を投げかけています。
