CAST: 신뢰할 수 있는 장기적 도구 호출 에이전트 훈련을 위한 비판 인식 감독

초록

대규모 언어 모델(LLM) 에이전트는 점차 장기 지평의 상호작용적이고 상태 유지적 환경에 배포되고 있다. 이러한 환경에서는 잘못된 구매에 대한 환불과 같은 단 하나의 잘못된 행동이 되돌릴 수 없는 작업 실패를 초래할 수 있으므로 실행 전에 반드시 차단되어야 한다. 이러한 실패는 매 실행마다 나타나지 않을 수 있으나 반복된 시도에 걸쳐 발생할 수 있으며, 따라서 단계와 시도 전반에 걸친 신뢰성이 핵심적이다. 그러나 에이전트 신뢰성을 보장하는 것은 어려운 과제이다. 최첨단 LLM조차도 특히 도메인별 정책이 적용되는 길고 복잡하게 얽힌 궤적에서 특정 행동이 왜 잘못되었는지 설명하는 데 어려움을 겪기 때문이다. 최근 연구 중 상당수는 프롬프트 기반 비평 에이전트에 의존하는 반면, 최적화 기반 방법은 훈련을 위한 풍부한 검증 근거를 체계적으로 생성하는 방식이 부족하다. 우리는 이러한 격차를 해소하기 위해 비평 인식 훈련 프레임워크인 CAST를 제안한다. CAST는 희소한 작업 결과를 비평 학습과 정책 최적화를 위한 행동 수준의 지도 신호로 변환한다. CAST는 에이전트 궤적을 분석하여 부분 관측 가능성 하에서 행동 타당성을 설명하는 구조화된 근거를 종합한다. 이렇게 구축된 비평 모델은 정책 모델 최적화를 위한 비평 인식 훈련 데이터를 구성하는 데 활용된다. 동적 도구 호출 벤치마크에서 Qwen3 계열 모델을 파인튜닝한 결과, CAST는 도메인 전반에 걸쳐 신뢰성을 개선하였으며, Retail 작업에서 GPT-OSS-120B 대비 pass^4를 10% 이상 능가하고 도메인 외 설정의 Telehealth에서 추가로 9%의 성능 향상을 보였다. 이러한 결과는 비평 인식 훈련이 실제 동적 환경에서 LLM 에이전트의 견고성을 향상시킨다는 것을 입증한다.

English

Large language model (LLM) agents are increasingly deployed in long-horizon, interactive, and stateful environments. In these settings, a single wrong action, such as refunding the wrong purchase, can cause irreversible task failure and must be intercepted before execution. Such failures may not appear in every single run, but can emerge across repeated trials, making reliability across steps and trials critical. However, ensuring agentic reliability is challenging: even frontier LLMs struggle to explain why an action may be wrong, especially in long, intertwined trajectories governed by domain-specific policies. Much recent work relies on prompt-based critique agents, while optimization-based methods lack a systematic way to produce rich verification rationales for training. We address this gap with CAST, a critique-aware training framework that converts sparse task outcomes into action-level supervision for critique learning and policy optimization. CAST analyzes agent trajectories to synthesize structured rationales explaining action validity under partial observability. The resulting critique model is used to construct critique-aware training data for optimizing the policy model. Fine-tuning Qwen3-family models on dynamic tool-calling benchmarks, CAST improves reliability across domains, outperforming GPT-OSS-120B by over 10% pass^4 on Retail tasks and yielding an additional 9% improvement on Telehealth in an out-of-domain setting. These results demonstrate that critique-aware training improves the robustness of LLM agents in realistic dynamic environments.