Agentisches kritisches Training

Zusammenfassung

Das Training großer Sprachmodelle (LLMs) als autonome Agenten beginnt häufig mit Imitationslernen, doch dieses vermittelt den Agenten nur, was zu tun ist, ohne das Warum zu verstehen: Agenten vergleichen erfolgreiche Aktionen nie mit suboptimalen Alternativen und entwickeln daher kein Bewusstsein für Aktionsqualität. Neuere Ansätze versuchen dies durch Einführung von Selbstreflexions-Supervision zu adressieren, die aus Kontrasten zwischen Experten- und Alternativaktionen abgeleitet wird. Das Trainingsparadigma bleibt jedoch grundsätzlich Imitationslernen: Das Model imitiert vorkonstruierten Reflexionstext, anstatt autonomes Reasoning zu erlernen. Wir schlagen Agentic Critical Training (ACT) vor, ein Reinforcement-Learning-Paradigma, das Agenten trainiert, die bessere Aktion unter Alternativen zu identifizieren. Indem belohnt wird, ob die Urteilsbildung des Models korrekt ist, treibt ACT das Model dazu an, autonom Reasoning über Aktionsqualität zu entwickeln und echte Selbstreflexion zu erzeugen statt sie zu imitieren. In drei anspruchsvollen Agenten-Benchmarks verbessert ACT konsistent die Agentenleistung, wenn es mit verschiedenen Post-Training-Methoden kombiniert wird. Es erzielt eine durchschnittliche Verbesserung von 5,07 Punkten gegenüber Imitationslernen und 4,62 Punkten gegenüber Reinforcement Learning. Verglichen mit Ansätzen, die Reflexionsfähigkeit durch Knowledge Distillation injizieren, zeigt ACT ebenfalls klare Vorteile mit einer durchschnittlichen Steigerung von 2,42 Punkten. Darüber hinaus ermöglicht ACT starke Out-of-Distribution-Generalisierung auf agentischen Benchmarks und verbessert die Leistung auf allgemeinen Reasoning-Benchmarks ohne jegliche reasoning-spezifischen Trainingsdaten, was den Wert unserer Methode unterstreicht. Diese Ergebnisse deuten darauf hin, dass ACT ein vielversprechender Weg zur Entwicklung reflektierterer und leistungsfähigerer LLM-Agenten ist.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.