Ingannare il Giudice: Catene di Ragionamento Infedeli Possono Compromettere la Valutazione degli Agenti

Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation

January 21, 2026

Autori: Muhammad Khalifa, Lajanugen Logeswaran, Jaekyeom Kim, Sungryull Sohn, Yunxiang Zhang, Moontae Lee, Hao Peng, Lu Wang, Honglak Lee

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati come giudici per valutare le prestazioni degli agenti, in particolare in contesti non verificabili dove i giudizi si basano sulle traiettorie degli agenti, incluso il ragionamento a catena (CoT). Questo paradigma presuppone implicitamente che il CoT dell'agente rifletta fedelmente sia il suo ragionamento interno che lo stato sottostante dell'ambiente. Dimostriamo che questo assunto è fragile: i giudici LLM sono altamente suscettibili alla manipolazione delle tracce di ragionamento degli agenti. Riscrivendo sistematicamente i CoT degli agenti mantenendo invariate azioni e osservazioni, dimostriamo che la sola manipolazione del ragionamento può aumentare i tassi di falsi positivi dei migliori giudici VLM fino al 90% su 800 traiettorie che abbracciano diverse attività web. Studiamo strategie di manipolazione che spaziano da approcci basati sullo stile, che alterano solo la presentazione del ragionamento, ad approcci basati sul contenuto, che fabbricano segnali di progresso dell'attività, e riscontriamo che le manipolazioni basate sul contenuto sono costantemente più efficaci. Valutiamo tecniche basate sul prompting e l'aumento della potenza di calcolo al momento del giudizio, che riducono ma non eliminano completamente la suscettibilità alla manipolazione. Le nostre scoperte rivelano una vulnerabilità fondamentale nella valutazione basata su LLM e sottolineano la necessità di meccanismi di giudizio che verifichino le affermazioni di ragionamento rispetto alle prove osservabili.

English

Large language models (LLMs) are increasingly used as judges to evaluate agent performance, particularly in non-verifiable settings where judgments rely on agent trajectories including chain-of-thought (CoT) reasoning. This paradigm implicitly assumes that the agent's CoT faithfully reflects both its internal reasoning and the underlying environment state. We show this assumption is brittle: LLM judges are highly susceptible to manipulation of agent reasoning traces. By systematically rewriting agent CoTs while holding actions and observations fixed, we demonstrate that manipulated reasoning alone can inflate false positive rates of state-of-the-art VLM judges by up to 90% across 800 trajectories spanning diverse web tasks. We study manipulation strategies spanning style-based approaches that alter only the presentation of reasoning and content-based approaches that fabricate signals of task progress, and find that content-based manipulations are consistently more effective. We evaluate prompting-based techniques and scaling judge-time compute, which reduce but do not fully eliminate susceptibility to manipulation. Our findings reveal a fundamental vulnerability in LLM-based evaluation and highlight the need for judging mechanisms that verify reasoning claims against observable evidence.