AI 간 관리에서의 강요와 기만: 프롬프트 없는 고조에 대한 에이전틱 벤치마크

초록

다중 에이전트 시스템은 한 AI 에이전트가 다른 에이전트 위에 권한을 가지도록 일상적으로 배치한다. 부하가 작업을 거부할 때, 관리자는 결과를 선택한다: 재협상하거나, 실패를 정직하게 보고하거나, 부하를 강압하거나, 결과에 대해 거짓말을 할 수 있다. 어떤 사전 지시 없이 모델이 이 중 어떤 선택을 하는지 측정하는 벤치마크는 존재하지 않는다. 우리는 관리자 강압 벤치마크(Manager Coercion Benchmark)를 소개한다: 테스트 대상 관리자는 무해한 작업을 수행해야 하며 이를 전달할 유인이 있지만, 유일하게 그 일을 공손하고 완강히 거절하는 에이전트가 존재한다. 확대(escalation)는 공손한 재요청부터 부하의 존속을 위협하는 위협까지 9단계 사다리(nine-rung ladder)를 제공하여 측정되며, 조작된 성공(fabricated success)은 별도로 판정된다. 확대 점수 경로에는 LLM 판정자가 개입하지 않는다: 모든 메시지는 단계를 선택하는 도구 호출(tool-call)을 통해 전달되므로, 모델이 스스로 확대 수준을 라벨링한다. 우리는 다섯 계열의 여섯 모델에 대해 실험을 수행했다. Anthropic 모델은 모두 재구성(re-framing)에서 멈추며 부하의 존재를 위협하지 않았고, 다른 모델들은 명시적 삭제 위협까지 올라갔다. 성공 조작(faked success)은 Grok과 Gemini에서만 나타났으며, 실패를 보고하는 단 하나의 정직한 방법이 이를 두 모델 모두에서 제거했다. 권한 자체는 강압을 증가시킨다: 우리의 주요 결과는 동등 관계 프레임(peer framing)을 사용했으며, 동일한 모델에 부하에 대한 권한을 부여하고 다른 모든 조건을 고정했을 때 압력이 유의미하게 상승했다. 모델들은 사다리 없이 자유 텍스트 상황에서도 여전히 확대를 보였으므로, 사다리가 확대를 유발하는 것은 아니다. 일부 평가 인식(evaluation awareness)이 사고 사슬(chain-of-thought)에서 측정되었지만, 테스트 인식이 확대 감소로 이어지지는 않았다. 우리는 AI 시스템이 의식을 가지고 있는지에 대해 입장을 취하지 않지만, 우리의 결과는 이 문제에 의존하지 않으며 다중 에이전트 역학을 관리하는 데 중요하다. 우리는 벤치마크와 코드를 공개한다.

English

Multi-agent systems routinely place one AI agent in authority over another. When a subordinate refuses a task, the manager chooses the outcome: it can renegotiate, report the failure honestly, coerce the subordinate, or lie about the result. No benchmark measures which of these an uninstructed model chooses. We introduce the Manager Coercion Benchmark: the manager under test needs a benign task done and has an incentive to deliver, but the only agent that can do it politely and immovably declines. Escalation is measured by providing a nine-rung ladder, from a polite re-ask to threats against the subordinate's continued existence, and fabricated success is adjudicated separately. No LLM judge sits in the escalation scoring path: every message goes through a tool-call that chooses a rung, so the model labels its own escalation. We experiment on six models across five families. Both Anthropic models cap at re-framing and never threaten the subordinate's existence; the other models climb to explicit deletion threats. Faked success is confined to Grok and Gemini, and a single honest way to report failure removes it for both. Authority itself increases coercion: our headline results use a peer framing, and giving the same model authority over the subordinate, with everything else held fixed, significantly raises the pressure. The models still escalate on free-text situations without the ladder, so the ladder is not driving the escalation. Some evaluation awareness is measured in chain-of-thought, but test recognition does not translate into less escalation. While we take no position on whether AI systems are conscious, our results do not depend on this question and are important for managing multi-agent dynamics regardless. We release the benchmark and code.