Агентное критическое обучение

Аннотация

Обучение больших языковых моделей (LLM) в качестве автономных агентов часто начинается с имитационного обучения, однако оно учит агентов только тому, *что* делать, не объясняя *почему*: агенты никогда не сопоставляют успешные действия с субоптимальными альтернативами и, следовательно, не обладают пониманием качества действий. Современные подходы пытаются решить эту проблему, вводя контроль саморефлексии, основанный на сравнении действий эксперта и альтернативных действий. Однако тренировочная парадигма фундаментально остается имитационной: модель имитирует заранее подготовленные тексты рефлексии, а не учится рассуждать автономно. Мы предлагаем Агентское Критическое Обучение (ACT) — парадигму обучения с подкреплением, которая тренирует агентов определять лучшее действие среди альтернатив. Награждая модель за правильность её суждений, ACT стимулирует модель автономно развивать способность к рассуждению о качестве действий, порождая подлинную саморефлексию, а не имитируя её. На трех сложных агентских тестовых наборах ACT стабильно улучшает производительность агентов в сочетании с различными методами пост-обучения. Он обеспечивает среднее улучшение на 5.07 баллов по сравнению с имитационным обучением и на 4.62 балла по сравнению с обучением с подкреплением. По сравнению с подходами, которые внедряют способность к рефлексии через дистилляцию знаний, ACT также демонстрирует явные преимущества, давая среднее улучшение на 2.42 балла. Более того, ACT обеспечивает сильную обобщающую способность вне распределения на агентских тестах и улучшает результаты на общих тестах логического мышления без каких-либо специфичных для рассуждений тренировочных данных, что подчеркивает ценность нашего метода. Эти результаты позволяют предположить, что ACT является перспективным путем к созданию более рефлексивных и способных LLM-агентов.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.