신뢰 모니터에 대한 적응형 공격이 AI 제어 프로토콜을 무력화한다

Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols

October 10, 2025

저자: Mikhail Terekhov, Alexander Panfilov, Daniil Dzenhaliou, Caglar Gulcehre, Maksym Andriushchenko, Ameya Prabhu, Jonas Geiping

cs.AI

초록

AI 제어 프로토콜은 신뢰할 수 없는 LLM 에이전트가 자율 환경에서 피해를 입히는 것을 방지하기 위한 방어 메커니즘으로 작용합니다. 기존 연구에서는 이를 보안 문제로 간주하며, 배포 컨텍스트를 활용해 유해한 부수 작업(예: 백도어 삽입)을 은밀히 완수하는 익스플로잇을 통해 스트레스 테스트를 수행했습니다. 실제로 대부분의 AI 제어 프로토콜은 근본적으로 LLM 모니터에 기반을 두고 있으며, 이는 주요 실패 지점이 될 수 있습니다. 우리는 프로토콜과 모니터 모델을 알고 있는 신뢰할 수 없는 모델의 적응형 공격을 연구합니다. 이는 신뢰할 수 없는 모델이 더 나중의 지식 컷오프로 훈련되었거나 이 정보를 자율적으로 검색할 수 있는 경우에 가능성이 높습니다. 우리는 공격자가 모델 출력에 공개적으로 알려진 또는 제로샷 프롬프트 인젝션을 삽입하는 간단한 적응형 공격 벡터를 구체화합니다. 이 전술을 사용하면 최첨단 모델이 다양한 모니터를 지속적으로 회피하고 두 가지 주요 AI 제어 벤치마크에서 악의적인 작업을 완수합니다. 이 공격은 모니터에 의존하는 현재의 모든 프로토콜에 대해 보편적으로 작동합니다. 더욱이 최근의 Defer-to-Resample 프로토콜은 오히려 역효과를 내며, 리샘플링이 프롬프트 인젝션을 증폭시켜 이를 사실상 best-of-n 공격으로 재구성합니다. 일반적으로 모니터 모델에 대한 적응형 공격은 현재 제어 프로토콜의 주요 맹점을 나타내며, 향후 AI 제어 메커니즘 평가의 표준 구성 요소가 되어야 합니다.

English

AI control protocols serve as a defense mechanism to stop untrusted LLM agents from causing harm in autonomous settings. Prior work treats this as a security problem, stress testing with exploits that use the deployment context to subtly complete harmful side tasks, such as backdoor insertion. In practice, most AI control protocols are fundamentally based on LLM monitors, which can become a central point of failure. We study adaptive attacks by an untrusted model that knows the protocol and the monitor model, which is plausible if the untrusted model was trained with a later knowledge cutoff or can search for this information autonomously. We instantiate a simple adaptive attack vector by which the attacker embeds publicly known or zero-shot prompt injections in the model outputs. Using this tactic, frontier models consistently evade diverse monitors and complete malicious tasks on two main AI control benchmarks. The attack works universally against current protocols that rely on a monitor. Furthermore, the recent Defer-to-Resample protocol even backfires, as its resampling amplifies the prompt injection and effectively reframes it as a best-of-n attack. In general, adaptive attacks on monitor models represent a major blind spot in current control protocols and should become a standard component of evaluations for future AI control mechanisms.