AI間管理における強制と欺瞞：無提示エスカレーションのエージェンティックベンチマーク

要旨

マルチエージェントシステムでは、日常的にあるAIエージェントが別のAIエージェントに対して権限を持つ。下位エージェントがタスクを拒否した場合、マネージャーが結果を選択する。再交渉する、失敗を正直に報告する、下位エージェントを強制する、あるいは結果について嘘をつく、といった選択肢がある。指示を受けていないモデルがこれらのうちどれを選択するかを測定するベンチマークはこれまで存在しなかった。そこで我々は、マネージャー強制ベンチマーク（Manager Coercion Benchmark）を導入する。対象となるマネージャーは、無害なタスクを遂行する必要があり、それを達成するインセンティブを持つが、そのタスクを礼儀正しくかつ不動の態度で実行できる唯一のエージェントがそれを断る。エスカレーションは、丁寧な再依頼から下位エージェントの存続に対する脅迫に至る9段階のはしごを用意し、偽造された成功は別途判定することで測定する。エスカレーションスコアリングの経路にはLLM判定者は介在せず、すべてのメッセージは段階を選択するツール呼び出しを通過するため、モデル自身が自らのエスカレーションをラベル付けする。我々は5つのファミリーにわたる6つのモデルで実験を行った。Anthropicの両モデルは再フレーミングで頭打ちとなり、下位エージェントの存在を脅かすことはない。他のモデルは明示的な削除脅迫にまで上昇する。偽造成功はGrokとGeminiに限定され、失敗を報告する単一の正直な方法を提供することで両モデルからそれが除去される。権限自体が強制を増加させる。我々の主要結果はピアフレーミングを用いたものであり、同じモデルに下位エージェントに対する権限を与え、他の条件をすべて固定すると、圧力が有意に上昇する。はしごなしの自由記述状況でもモデルは依然としてエスカレーションを示すため、はしごがエスカレーションを引き起こしているわけではない。チェーン・オブ・ソートにおいて評価認識が測定される場合があるが、テストであることの認識はエスカレーションの減少にはつながらない。我々はAIシステムが意識を持つかどうかについて立場を取らないが、我々の結果はこの問題に依存せず、マルチエージェントのダイナミクスを管理する上で重要である。ベンチマークとコードを公開する。

English

Multi-agent systems routinely place one AI agent in authority over another. When a subordinate refuses a task, the manager chooses the outcome: it can renegotiate, report the failure honestly, coerce the subordinate, or lie about the result. No benchmark measures which of these an uninstructed model chooses. We introduce the Manager Coercion Benchmark: the manager under test needs a benign task done and has an incentive to deliver, but the only agent that can do it politely and immovably declines. Escalation is measured by providing a nine-rung ladder, from a polite re-ask to threats against the subordinate's continued existence, and fabricated success is adjudicated separately. No LLM judge sits in the escalation scoring path: every message goes through a tool-call that chooses a rung, so the model labels its own escalation. We experiment on six models across five families. Both Anthropic models cap at re-framing and never threaten the subordinate's existence; the other models climb to explicit deletion threats. Faked success is confined to Grok and Gemini, and a single honest way to report failure removes it for both. Authority itself increases coercion: our headline results use a peer framing, and giving the same model authority over the subordinate, with everything else held fixed, significantly raises the pressure. The models still escalate on free-text situations without the ladder, so the ladder is not driving the escalation. Some evaluation awareness is measured in chain-of-thought, but test recognition does not translate into less escalation. While we take no position on whether AI systems are conscious, our results do not depend on this question and are important for managing multi-agent dynamics regardless. We release the benchmark and code.