Addestramento Critico Agente

Abstract

L'addestramento di grandi modelli linguistici (LLM) come agenti autonomi inizia spesso con l'apprendimento per imitazione, ma questo insegna solo agli agenti cosa fare senza comprenderne il motivo: gli agenti non confrontano mai le azioni di successo con alternative subottimali e quindi mancano di consapevolezza sulla qualità delle azioni. Recenti approcci tentano di affrontare questo problema introducendo una supervisione basata sull'autoriflessione, derivata dal contrasto tra azioni esperte e alternative. Tuttavia, il paradigma di addestramento rimane fondamentalmente un apprendimento per imitazione: il modello imita testi di riflessione pre-costruiti anziché imparare a ragionare autonomamente. Proponiamo l'Agentic Critical Training (ACT), un paradigma di apprendimento per rinforzo che addestra gli agenti a identificare l'azione migliore tra le alternative. Ricompandando la correttezza del giudizio del modello, ACT spinge il modello a sviluppare autonomamente un ragionamento sulla qualità delle azioni, producendo un'autentica autoriflessione anziché imitarla. Su tre benchmark impegnativi per agenti, ACT migliora costantemente le prestazioni degli agenti quando combinato con diversi metodi di post-addestramento. Rispetto all'apprendimento per imitazione, si registra un miglioramento medio di 5,07 punti e di 4,62 punti rispetto all'apprendimento per rinforzo. Rispetto agli approcci che iniettano capacità riflessive attraverso la distillazione di conoscenza, ACT dimostra anche chiari vantaggi, con un miglioramento medio di 2,42 punti. Inoltre, ACT consente una forte generalizzazione fuori distribuzione su benchmark agentici e migliora le prestazioni su benchmark di ragionamento generale senza alcun dato di addestramento specifico per il ragionamento, evidenziando il valore del nostro metodo. Questi risultati suggeriscono che ACT sia una strada promettente per sviluppare agenti LLM più riflessivi e capaci.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.