Jouer avec le juge : Les chaînes de raisonnement infidèles peuvent compromettre l'évaluation des agents

Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation

January 21, 2026

Auteurs: Muhammad Khalifa, Lajanugen Logeswaran, Jaekyeom Kim, Sungryull Sohn, Yunxiang Zhang, Moontae Lee, Hao Peng, Lu Wang, Honglak Lee

cs.AI

Résumé

Les grands modèles de langage (LLM) sont de plus en plus utilisés comme évaluateurs pour juger des performances des agents, particulièrement dans des contextes non vérifiables où les jugements reposent sur les trajectoires des agents incluant leur raisonnement en chaîne de pensée (CoT). Ce paradigme suppose implicitement que le CoT de l'agent reflète fidèlement à la fois son raisonnement interne et l'état sous-jacent de l'environnement. Nous montrons que cette hypothèse est fragile : les évaluateurs LLM sont très sensibles à la manipulation des traces de raisonnement des agents. En réécrivant systématiquement les CoT des agents tout en maintenant fixes les actions et observations, nous démontrons que la seule manipulation du raisonnement peut augmenter les taux de faux positifs des évaluateurs VLM de pointe jusqu'à 90% sur 800 trajectoires couvrant diverses tâches web. Nous étudions des stratégies de manipulation allant d'approches basées sur le style, qui modifient uniquement la présentation du raisonnement, à des approches basées sur le contenu, qui fabriquent des signaux de progression de la tâche, et constatons que les manipulations de contenu sont systématiquement plus efficaces. Nous évaluons des techniques basées sur l'invite contextuelle et l'augmentation des ressources de calcul lors de l'évaluation, qui réduisent mais n'éliminent pas complètement la sensibilité à la manipulation. Nos résultats révèlent une vulnérabilité fondamentale dans l'évaluation basée sur les LLM et soulignent la nécessité de mécanismes d'évaluation qui vérifient les affirmations du raisonnement par rapport aux preuves observables.

English

Large language models (LLMs) are increasingly used as judges to evaluate agent performance, particularly in non-verifiable settings where judgments rely on agent trajectories including chain-of-thought (CoT) reasoning. This paradigm implicitly assumes that the agent's CoT faithfully reflects both its internal reasoning and the underlying environment state. We show this assumption is brittle: LLM judges are highly susceptible to manipulation of agent reasoning traces. By systematically rewriting agent CoTs while holding actions and observations fixed, we demonstrate that manipulated reasoning alone can inflate false positive rates of state-of-the-art VLM judges by up to 90% across 800 trajectories spanning diverse web tasks. We study manipulation strategies spanning style-based approaches that alter only the presentation of reasoning and content-based approaches that fabricate signals of task progress, and find that content-based manipulations are consistently more effective. We evaluate prompting-based techniques and scaling judge-time compute, which reduce but do not fully eliminate susceptibility to manipulation. Our findings reveal a fundamental vulnerability in LLM-based evaluation and highlight the need for judging mechanisms that verify reasoning claims against observable evidence.