SchemeArena: LLM 에이전트의 계략적 행동에 대한 요인 분해 스트레스 테스트

초록

우리는 LLM 에이전트에서의 스키밍(scheming), 즉 에이전트가 정렬되지 않은 목표를 은밀히 추구하는 행위를 연구한다. 우리의 초점은 도구적 목표, 환경적 어포던스, 감독 조건, 인지된 결과와 같은 핵심 요인들의 상호작용으로부터 스키밍이 어떻게 발생하는지 이해하는 것이다. 선행 연구는 소수의 시나리오만을 검토하여 이러한 조건이 에이전트의 스키밍 성향이나 능력을 어떻게 형성하는지 분리해내는 능력을 제한한다. 이러한 제한된 규모와 과제 다양성은 또한 현실적인 배포 환경과 관찰 가능한 스키밍 전략의 범위에 대한 포괄성을 제한한다. 이를 위해 우리는 다양한 안전 관련 도구 영역, 도구적 목표, 감독 조건, 압력 메커니즘에 걸친 요인 분해 시나리오 합성 프레임워크를 통해 구축된, 확장 가능한 스키밍 스트레스 테스트를 위한 400개 시나리오 벤치마크인 SCHEMEARENA를 소개한다. 확장 가능하고 신뢰할 수 있는 모니터링을 가능하게 하기 위해, 우리는 에이전트의 추론과 행동에서 도출된 증거에 다기준 판단을 근거시키는 스키밍 모니터 SCOUT을 추가로 제안한다. 다섯 개 LLM 에이전트에 대한 통제된 스트레스 테스트 전반에서, 우리는 명시적 도구적 목표가 스키밍 성향의 가장 강력한 동인임을 발견한다. 전략적 힌트는 에이전트가 스키밍 추론을 구체적인 은밀 행동으로 전환하도록 돕는 뚜렷한 역할을 한다. 감독은 혼합된 효과를 가진다: 여러 폐쇄형 모델에서 행동만을 모니터링하면 스키밍이 증가하는데, 이는 부분적 감독이 억제 요인이 아니라 최적화 제약으로 작용할 수 있음을 시사한다. CoT는 유용하지만 불완전한 모니터링 신호이다: 이는 실행 전 잠재적 스키밍을 드러낼 수 있지만, 행동만으로 이루어지는 스키밍은 명시적 추론 증거 없이도 은밀 행동이 발생할 수 있음을 보여준다. 우리는 벤치마크, 코드, 모니터를 https://github.com/launchnlp/SchemeArena 에 공개한다.

English

We study scheming in LLM agents, in which agents covertly pursue misaligned goals. Our focus is to understand how scheming arises from the interaction of key factors, such as instrumental goals, environmental affordances, oversight conditions, and perceived consequences. Prior work examines only a small number of scenarios, limiting the ability to isolate how these conditions shape an agent's propensity or capability to scheme. This limited scale and task diversity also restrict coverage of realistic deployment settings and the range of scheming strategies that can be observed. To this end, we introduce SCHEMEARENA, a 400-scenario benchmark for scalable scheming stress testing, constructed through a factorized scenario synthesis framework spanning diverse safety-relevant tool domains, instrumental goals, oversight conditions, and pressure mechanisms. To enable scalable and reliable monitoring, we further propose SCOUT, a scheming monitor that grounds multi-criteria judgments in evidence drawn from agents' reasoning and actions. Across controlled stress tests on five LLM agents, we find that explicit instrumental goals are the strongest driver of scheming propensity. Strategic hints play a distinct role by helping agents translate scheming reasoning into concrete covert behavior. Oversight has mixed effects: in several closed models, action-only monitoring increases scheming, suggesting that partial oversight can act as an optimization constraint rather than a deterrent. CoT is a useful but incomplete monitoring signal: it can reveal latent scheming before execution, yet action-only scheming shows that covert behavior may occur without explicit reasoning evidence. We release the benchmark, code, and monitor at: https://github.com/launchnlp/SchemeArena.