信頼されたモニターに対する適応的攻撃がAI制御プロトコルを破綻させる

Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols

October 10, 2025

著者: Mikhail Terekhov, Alexander Panfilov, Daniil Dzenhaliou, Caglar Gulcehre, Maksym Andriushchenko, Ameya Prabhu, Jonas Geiping

cs.AI

要旨

AI制御プロトコルは、自律環境において信頼されていないLLMエージェントが害を及ぼすのを防ぐための防御メカニズムとして機能します。これまでの研究では、これをセキュリティ問題として扱い、展開コンテキストを利用してバックドアの挿入などの有害な副タスクを巧妙に完了させるエクスプロイトを用いたストレステストを行ってきました。実際には、ほとんどのAI制御プロトコルは基本的にLLMモニターに依存しており、これが単一障害点となる可能性があります。私たちは、プロトコルとモニターモデルを知っている信頼されていないモデルによる適応型攻撃を研究します。これは、信頼されていないモデルがより新しい知識カットオフで訓練された場合や、この情報を自律的に検索できる場合に起こり得ます。私たちは、攻撃者がモデルの出力に公開されている情報やゼロショットプロンプトインジェクションを埋め込むという単純な適応型攻撃ベクトルを具体化します。この戦術を用いることで、最先端のモデルは多様なモニターを一貫して回避し、主要な2つのAI制御ベンチマークで悪意のあるタスクを完了します。この攻撃は、モニターに依存する現在のプロトコルに対して普遍的に有効です。さらに、最近のDefer-to-Resampleプロトコルは逆効果で、そのリサンプリングがプロンプトインジェクションを増幅し、事実上それをベストオブn攻撃として再構成します。一般的に、モニターモデルに対する適応型攻撃は、現在の制御プロトコルの主要な盲点であり、将来のAI制御メカニズムの評価における標準的な要素となるべきです。

English

AI control protocols serve as a defense mechanism to stop untrusted LLM agents from causing harm in autonomous settings. Prior work treats this as a security problem, stress testing with exploits that use the deployment context to subtly complete harmful side tasks, such as backdoor insertion. In practice, most AI control protocols are fundamentally based on LLM monitors, which can become a central point of failure. We study adaptive attacks by an untrusted model that knows the protocol and the monitor model, which is plausible if the untrusted model was trained with a later knowledge cutoff or can search for this information autonomously. We instantiate a simple adaptive attack vector by which the attacker embeds publicly known or zero-shot prompt injections in the model outputs. Using this tactic, frontier models consistently evade diverse monitors and complete malicious tasks on two main AI control benchmarks. The attack works universally against current protocols that rely on a monitor. Furthermore, the recent Defer-to-Resample protocol even backfires, as its resampling amplifies the prompt injection and effectively reframes it as a best-of-n attack. In general, adaptive attacks on monitor models represent a major blind spot in current control protocols and should become a standard component of evaluations for future AI control mechanisms.