Entrenamiento Crítico Agéntico

Resumen

El entrenamiento de modelos de lenguaje grandes (LLM) como agentes autónomos suele comenzar con el aprendizaje por imitación, pero este solo enseña a los agentes qué hacer sin que comprendan el porqué: los agentes nunca contrastan las acciones exitosas con alternativas subóptimas y, por lo tanto, carecen de conciencia sobre la calidad de la acción. Enfoques recientes intentan solucionar esto introduciendo una supervisión de autorreflexión derivada de los contrastes entre acciones expertas y alternativas. Sin embargo, el paradigma de entrenamiento sigue siendo fundamentalmente un aprendizaje por imitación: el modelo imita texto de reflexión preconstruido en lugar de aprender a razonar de forma autónoma. Proponemos el Entrenamiento Crítico Agéntico (ACT), un paradigma de aprendizaje por refuerzo que entrena a los agentes para identificar la mejor acción entre alternativas. Al recompensar si el juicio del modelo es correcto, ACT impulsa al modelo a desarrollar autónomamente un razonamiento sobre la calidad de la acción, produciendo una autorreflexión genuina en lugar de imitarla. En tres benchmarks de agentes desafiantes, ACT mejora consistentemente el rendimiento del agente cuando se combina con diferentes métodos de post-entrenamiento. Logra una mejora promedio de 5.07 puntos sobre el aprendizaje por imitación y de 4.62 puntos sobre el aprendizaje por refuerzo. En comparación con los enfoques que inyectan capacidad de reflexión mediante destilación de conocimiento, ACT también demuestra ventajas claras, produciendo una mejora promedio de 2.42 puntos. Además, ACT permite una fuerte generalización fuera de distribución en benchmarks de agentes y mejora el rendimiento en benchmarks de razonamiento general sin ningún dato de entrenamiento específico para razonar, lo que subraya el valor de nuestro método. Estos resultados sugieren que ACT es un camino prometedor hacia el desarrollo de agentes LLM más reflexivos y capaces.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.