Formation Critique Agentique

Résumé

L'entraînement des grands modèles de langage (LLM) en tant qu'agents autonomes commence souvent par l'apprentissage par imitation, mais celui-ci n'enseigne aux agents que quoi faire sans leur expliquer pourquoi : les agents ne comparent jamais les actions réussies à des alternatives sous-optimales et manquent ainsi de conscience de la qualité des actions. Des approches récentes tentent de remédier à ce problème en introduisant une supervision par auto-réflexion dérivée de contrastes entre des actions expertes et des actions alternatives. Cependant, le paradigme d'entraînement reste fondamentalement un apprentissage par imitation : le modèle imite un texte de réflexion pré-construit plutôt que d'apprendre à raisonner de manière autonome. Nous proposons l'Entraînement Critique Agentique (ACT), un paradigme d'apprentissage par renforcement qui forme les agents à identifier la meilleure action parmi des alternatives. En récompant le modèle selon l'exactitude de son jugement, ACT pousse le modèle à développer de manière autonome un raisonnement sur la qualité des actions, produisant ainsi une véritable auto-réflexion plutôt que de l'imiter. Sur trois benchmarks d'agents difficiles, ACT améliore constamment les performances des agents lorsqu'il est combiné à différentes méthodes de post-formation. Il obtient une amélioration moyenne de 5,07 points par rapport à l'apprentissage par imitation et de 4,62 points par rapport à l'apprentissage par renforcement. Par rapport aux approches qui injectent une capacité de réflexion par distillation de connaissances, ACT démontre également des avantages nets, avec une amélioration moyenne de 2,42 points. De plus, ACT permet une forte généralisation hors-distribution sur les benchmarks agentiques et améliore les performances sur des benchmarks de raisonnement général sans aucune donnée d'entraînement spécifique au raisonnement, soulignant la valeur de notre méthode. Ces résultats suggèrent qu'ACT est une voie prometteuse pour développer des agents LLM plus réfléchis et plus compétents.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.