주체적 비판 훈련

초록

대규모 언어 모델(LLM)을 자율 에이전트로 훈련할 때는 모방 학습으로 시작하는 경우가 많지만, 이는 에이전트에게 '무엇을 해야 하는지'만 가르칠 뿐 '왜 그래야 하는지'를 이해시키지는 못합니다. 에이전트는 성공적인 행동과 차선의 행동 대안을 대조해 보지 않기 때문에 행동의 질에 대한 인식이 부족합니다. 최근 연구들은 전문가의 행동과 대안 행동을 대조하여 도출된 자기 성찰 감독을 도입하여 이 문제를 해결하려고 시도합니다. 그러나 이러한 훈련 패러다임은 근본적으로 여전히 모방 학습에 머물러 있습니다. 즉, 모델이 자율적으로 추론하는 법을 배우기보다는 미리 구성된 성찰 텍스트를 모방하는 것입니다. 우리는 강화 학습 패러다임인 행위주도적 비판 훈련(Agentic Critical Training, ACT)을 제안합니다. ACT는 에이전트가 여러 대안 행동 중 더 나은 행동을 식별하도록 훈련합니다. 모델의 판단이 정확한지 여부에 대해 보상을 부여함으로써, ACT는 모델이 행동의 질에 대한 추론 능력을 자율적으로 발전시키도록 유도하며, 성찰을 모방하는 것이 아닌 진정한 자기 성찰을 생성하게 합니다. 세 가지 도전적인 에이전트 벤치마크에서 ACT는 다양한 사후 훈련 방법과 결합되었을 때 에이전트 성능을 지속적으로 향상시켰습니다. 이는 모방 학습 대비 평균 5.07점, 강화 학습 대비 평균 4.62점의 향상을 달성했습니다. 지식 증류를 통해 성찰 능력을 주입하는 접근법과 비교해서도 ACT는 평균 2.42점의 향상으로 뚜렷한 이점을 보였습니다. 더 나아가, ACT는 에이전트 벤치마크에서 강력한 분포 외 일반화 능력을 가능하게 했으며, 추론 특화 훈련 데이터 없이도 일반 추론 벤치마크에서 성능을 향상시켜 우리 방법의 가치를 부각했습니다. 이러한 결과는 ACT가 더 성찰적이고 유능한 LLM 에이전트를 개발하기 위한 유망한 방향임을 시사합니다.

English

Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.