De Rechter Misleiden: Oneerlijke Denkketens Kunnen Agent-Evaluaties Ondermijnen

Samenvatting

Grootschalige taalmodelen (LLM's) worden steeds vaker ingezet als beoordelaars om de prestaties van agents te evalueren, met name in niet-verifieerbare situaties waarbij de beoordelingen steunen op agenttrajecten die onder meer redeneerketens (chain-of-thought, CoT) bevatten. Dit paradigma gaat er impliciet van uit dat de CoT van een agent zowel diens interne redenering als de onderliggende toestand van de omgeving getrouw weerspiegelt. Wij tonen aan dat deze aanname kwetsbaar is: LLM-beoordelaars zijn zeer vatbaar voor manipulatie van de redeneersporen van agents. Door de CoT's van agents systematisch te herschrijven terwijl de acties en observaties ongewijzigd blijven, demonstreren wij dat gemanipuleerde redenering alleen al de false-positive ratio van state-of-the-art VLM-beoordelaars met tot wel 90% kan opdrijven, gebaseerd op 800 trajecten uiteenlopende webtaken. Wij bestuderen manipulatiestrategieën die variëren van stijlgerichte benaderingen, die alleen de presentatie van de redenering veranderen, tot inhoudsgerichte benaderingen, die signalen van taakvoortgang fabriceren, en constateren dat inhoudsgerichte manipulaties consistent effectiever zijn. Wij evalueren op prompting gebaseerde technieken en het opschalen van rekenkracht tijdens het beoordelen, wat de vatbaarheid voor manipulatie vermindert maar niet volledig opheft. Onze bevindingen onthullen een fundamentele kwetsbaarheid in op LLM's gebaseerde evaluatie en benadrukken de noodzaak van beoordelingsmechanismen die redeneerclaims verifiëren tegen waarneembaar bewijs.

English

Large language models (LLMs) are increasingly used as judges to evaluate agent performance, particularly in non-verifiable settings where judgments rely on agent trajectories including chain-of-thought (CoT) reasoning. This paradigm implicitly assumes that the agent's CoT faithfully reflects both its internal reasoning and the underlying environment state. We show this assumption is brittle: LLM judges are highly susceptible to manipulation of agent reasoning traces. By systematically rewriting agent CoTs while holding actions and observations fixed, we demonstrate that manipulated reasoning alone can inflate false positive rates of state-of-the-art VLM judges by up to 90% across 800 trajectories spanning diverse web tasks. We study manipulation strategies spanning style-based approaches that alter only the presentation of reasoning and content-based approaches that fabricate signals of task progress, and find that content-based manipulations are consistently more effective. We evaluate prompting-based techniques and scaling judge-time compute, which reduce but do not fully eliminate susceptibility to manipulation. Our findings reveal a fundamental vulnerability in LLM-based evaluation and highlight the need for judging mechanisms that verify reasoning claims against observable evidence.

De Rechter Misleiden: Oneerlijke Denkketens Kunnen Agent-Evaluaties Ondermijnen

Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation

Samenvatting

Support