Agentische Kritische Training

Samenvatting

Het trainen van grote taalmodellen (LLM's) als autonome agenten begint vaak met imitatieleren, maar dit leert agenten alleen wat ze moeten doen zonder het waarom te begrijpen: agenten vergelijken succesvolle acties nooit met suboptimale alternatieven en missen daardoor besef van actiekwaliteit. Recente benaderingen proberen dit op te lossen door zelfreflectie-supervisie toe te voegen, afgeleid van contrasten tussen expert- en alternatieve acties. Het trainingsparadigma blijft echter fundamenteel imitatieleren: het model imiteert vooraf geconstrueerde reflectietekst in plaats van autonoom te leren redeneren. Wij stellen Agentic Critical Training (ACT) voor, een reinforcement learning-paradigma dat agenten traint om de beste actie tussen alternatieven te identificeren. Door te belonen of de beoordeling van het model correct is, stimuleert ACT het model om autonoom redeneren over actiekwaliteit te ontwikkelen, wat echte zelfreflectie oplevert in plaats van imitatie. Op drie uitdagende agentbenchmarks verbetert ACT consequent de agentprestaties in combinatie met verschillende post-trainingsmethoden. Het behaalt een gemiddelde verbetering van 5,07 punten ten opzichte van imitatieleren en 4,62 punten ten opzichte van reinforcement learning. Vergeleken met benaderingen die reflectievermogen injecteren via knowledge distillation, toont ACT ook duidelijke voordelen, met een gemiddelde verbetering van 2,42 punten. Bovendien maakt ACT sterke generalisatie buiten de verdeling mogelijk op agentbenchmarks en verbetert het de prestaties op algemene redeneerbenchmarks zonder specifieke trainingsdata voor redeneren, wat de waarde van onze methode onderstreept. Deze resultaten suggereren dat ACT een veelbelovende weg is naar de ontwikkeling van meer reflectieve en capabele LLM-agenten.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.