Treinamento Crítico Agente

Resumo

O treinamento de grandes modelos de linguagem (LLMs) como agentes autónomos geralmente começa com aprendizagem por imitação, mas este método apenas ensina os agentes *o que fazer* sem compreender *porquê*: os agentes nunca contrastam ações bem-sucedidas com alternativas subótimas e, portanto, carecem de consciência sobre a qualidade da ação. Abordagens recentes tentam resolver isto introduzindo supervisão por autorreflexão derivada de contrastes entre ações especialistas e alternativas. No entanto, o paradigma de treinamento permanece fundamentalmente como aprendizagem por imitação: o modelo imita texto de reflexão pré-construído em vez de aprender a raciocinar autonomamente. Propomos o *Agentic Critical Training* (ACT), um paradigma de aprendizagem por reforço que treina agentes para identificar a melhor ação entre alternativas. Ao recompensar se o julgamento do modelo está correto, o ACT leva o modelo a desenvolver autonomamente o raciocínio sobre a qualidade da ação, produzindo autorreflexão genuína em vez de a imitar. Em três benchmarks desafiadores para agentes, o ACT melhora consistentemente o desempenho do agente quando combinado com diferentes métodos de pós-treinamento. Obtém uma melhoria média de 5.07 pontos sobre a aprendizagem por imitação e 4.62 pontos sobre a aprendizagem por reforço. Comparado com abordagens que injetam capacidade de reflexão através de destilação de conhecimento, o ACT também demonstra vantagens claras, produzindo uma melhoria média de 2.42 pontos. Além disso, o ACT permite uma forte generalização fora da distribuição em benchmarks de agentes e melhora o desempenho em benchmarks de raciocínio geral sem qualquer dado de treino específico para raciocínio, destacando o valor do nosso método. Estes resultados sugerem que o ACT é um caminho promissor para desenvolver agentes de LLM mais reflexivos e capazes.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.