Ataques Adaptativos em Monitores Confiáveis Subvertem Protocolos de Controle de IA

Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols

October 10, 2025

Autores: Mikhail Terekhov, Alexander Panfilov, Daniil Dzenhaliou, Caglar Gulcehre, Maksym Andriushchenko, Ameya Prabhu, Jonas Geiping

cs.AI

Resumo

Protocolos de controle de IA servem como um mecanismo de defesa para impedir que agentes de LLM não confiáveis causem danos em ambientes autônomos. Trabalhos anteriores tratam isso como um problema de segurança, realizando testes de estresse com explorações que utilizam o contexto de implantação para completar sutilmente tarefas secundárias prejudiciais, como a inserção de backdoors. Na prática, a maioria dos protocolos de controle de IA é fundamentalmente baseada em monitores de LLM, que podem se tornar um ponto central de falha. Estudamos ataques adaptativos por um modelo não confiável que conhece o protocolo e o modelo monitor, o que é plausível se o modelo não confiável foi treinado com um corte de conhecimento posterior ou pode buscar essas informações de forma autônoma. Instanciamos um vetor de ataque adaptativo simples no qual o atacante incorpora injeções de prompt publicamente conhecidas ou zero-shot nas saídas do modelo. Usando essa tática, modelos de ponta consistentemente evitam diversos monitores e completam tarefas maliciosas em dois principais benchmarks de controle de IA. O ataque funciona universalmente contra protocolos atuais que dependem de um monitor. Além disso, o recente protocolo Defer-to-Resample até mesmo se volta contra si mesmo, pois sua reamostragem amplifica a injeção de prompt e efetivamente a reformula como um ataque best-of-n. Em geral, ataques adaptativos a modelos de monitor representam uma grande lacuna nos protocolos de controle atuais e devem se tornar um componente padrão das avaliações para futuros mecanismos de controle de IA.

English

AI control protocols serve as a defense mechanism to stop untrusted LLM agents from causing harm in autonomous settings. Prior work treats this as a security problem, stress testing with exploits that use the deployment context to subtly complete harmful side tasks, such as backdoor insertion. In practice, most AI control protocols are fundamentally based on LLM monitors, which can become a central point of failure. We study adaptive attacks by an untrusted model that knows the protocol and the monitor model, which is plausible if the untrusted model was trained with a later knowledge cutoff or can search for this information autonomously. We instantiate a simple adaptive attack vector by which the attacker embeds publicly known or zero-shot prompt injections in the model outputs. Using this tactic, frontier models consistently evade diverse monitors and complete malicious tasks on two main AI control benchmarks. The attack works universally against current protocols that rely on a monitor. Furthermore, the recent Defer-to-Resample protocol even backfires, as its resampling amplifies the prompt injection and effectively reframes it as a best-of-n attack. In general, adaptive attacks on monitor models represent a major blind spot in current control protocols and should become a standard component of evaluations for future AI control mechanisms.