Manipulando o Juiz: Cadeias de Raciocínio Infiéis Podem Comprometer a Avaliação de Agentes
Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation
January 21, 2026
Autores: Muhammad Khalifa, Lajanugen Logeswaran, Jaekyeom Kim, Sungryull Sohn, Yunxiang Zhang, Moontae Lee, Hao Peng, Lu Wang, Honglak Lee
cs.AI
Resumo
Os grandes modelos de linguagem (LLMs) são cada vez mais utilizados como juízes para avaliar o desempenho de agentes, particularmente em contextos não verificáveis onde os julgamentos dependem de trajetórias do agente que incluem raciocínio em cadeia (chain-of-thought, CoT). Este paradigma assume implicitamente que o CoT do agente reflete fielmente tanto o seu raciocínio interno quanto o estado subjacente do ambiente. Mostramos que esta suposição é frágil: os juízes baseados em LLM são altamente suscetíveis à manipulação dos rastros de raciocínio do agente. Ao reescrever sistematicamente os CoTs dos agentes mantendo as ações e observações fixas, demonstramos que a manipulação do raciocínio por si só pode inflacionar as taxas de falsos positivos dos melhores juízes VLM em até 90% em 800 trajetórias abrangendo diversas tarefas web. Estudamos estratégias de manipulação que abrangem abordagens baseadas em estilo, que alteram apenas a apresentação do raciocínio, e abordagens baseadas em conteúdo, que fabricam sinais de progresso da tarefa, e concluímos que as manipulações baseadas em conteúdo são consistentemente mais eficazes. Avaliamos técnicas baseadas em *prompting* e o aumento de computação no momento do julgamento, que reduzem, mas não eliminam totalmente, a suscetibilidade à manipulação. As nossas descobertas revelam uma vulnerabilidade fundamental na avaliação baseada em LLM e destacam a necessidade de mecanismos de julgamento que verifiquem as alegações de raciocínio face a evidências observáveis.
English
Large language models (LLMs) are increasingly used as judges to evaluate agent performance, particularly in non-verifiable settings where judgments rely on agent trajectories including chain-of-thought (CoT) reasoning. This paradigm implicitly assumes that the agent's CoT faithfully reflects both its internal reasoning and the underlying environment state. We show this assumption is brittle: LLM judges are highly susceptible to manipulation of agent reasoning traces. By systematically rewriting agent CoTs while holding actions and observations fixed, we demonstrate that manipulated reasoning alone can inflate false positive rates of state-of-the-art VLM judges by up to 90% across 800 trajectories spanning diverse web tasks. We study manipulation strategies spanning style-based approaches that alter only the presentation of reasoning and content-based approaches that fabricate signals of task progress, and find that content-based manipulations are consistently more effective. We evaluate prompting-based techniques and scaling judge-time compute, which reduce but do not fully eliminate susceptibility to manipulation. Our findings reveal a fundamental vulnerability in LLM-based evaluation and highlight the need for judging mechanisms that verify reasoning claims against observable evidence.