TRIAGE: 에이전트적 강화 학습을 위한 역할 유형화된 신용 할당

초록

에이전트 강화 학습에서는 검색, 클릭, 편집, 탐색 명령, 객체 상호작용 등 환경과의 상호작용을 수행하는 행동에 대한 신용을 할당해야 한다. 표준 GRPO는 최종 검증기 결과를 모든 행동 토큰에 대한 균일한 이점으로 사용한다. 이 결과 신호는 유용하지만 구조적으로 불완전하다. 실패한 롤아웃에서 유용한 탐험을 처벌하고, 성공한 롤아웃에서는 중복되거나 퇴행적인 행동을 강화한다. 본 논문은 TRIAGE를 제안하며, 이는 결과 신용에 의미 롤 축을 추가하는 역할 유형 신용 할당 프레임워크이다. 구조화된 판정자가 각 세그먼트를 결정적 진전, 유용한 탐험, 진전 없는 기반 구조, 또는 퇴행으로 분류하고, 고정된 역할 조건 규칙이 이러한 레이블을 경계가 있는 세그먼트 수준 프로세스 보상으로 매핑한다. 이는 검증기 결과를 최적화 방향의 원천으로 유지하면서, 결과 기반 신용의 두 가지 주요 맹점을 보정한다. 또한 역할 조건 신용이 역할 레이블만으로 표현 가능한 세그먼트 수준 최적 보정임을 보인다. 이는 역할 변수에 대한 세그먼트별 이점 잔차의 투영에 해당하므로, 판정자가 신뢰할 수 있을 때마다 고정된 역할 상수가 이점 추정 오차를 줄이며, 이를 더 낮은 분산의 정책 그래디언트와 연결한다. ALFWorld, Search-QA, WebShop 전반에 걸쳐 TRIAGE는 두 가지 정책 모델에 대해 GRPO보다 성공률을 향상시키며, 스칼라 판정자 기반 프로세스 보상 및 결과 지도 공유 백본 가치 기준선을 모두 능가한다. 절제 실험은 이득이 단순히 밀집 보상을 추가하는 것이 아니라 역할 유형 구분에서 비롯됨을 보여준다. 성공적인 궤적 내에서 퇴행을 신뢰성 있게 탐지하는 것이 주요 기여 요인이며, 탐험 신용은 일관된 부차적 이득을 제공한다. 완료된 ALFWorld 및 WebShop 롤아웃에서 TRIAGE는 GRPO 대비 환경 상호작용 횟수를 각각 10.4% 및 14.8% 추가로 감소시킨다.

English

Agentic reinforcement learning requires assigning credit to environment-facing actions such as searches, clicks, edits, navigation commands, and object interactions. Standard GRPO uses the final verifier outcome as a uniform advantage over all action tokens. This outcome signal is useful but structurally incomplete: it punishes useful exploration in failed rollouts and reinforces redundant or regressive actions in successful rollouts. We propose TRIAGE, a role-typed credit assignment framework that adds a semantic role axis to outcome credit. A structured judge classifies each segment as decisive progress, useful exploration, no-progress infrastructure, or regression, and a fixed role-conditioned rule maps these labels to bounded segment-level process rewards. This keeps verifier outcomes as the source of optimization direction while correcting the two main blind spots of outcome-only credit. We further show that role-conditioned credit is the optimal segment-level correction expressible from role labels alone -- a projection of the per-segment advantage residual onto the role variable -- so that the fixed role constants reduce advantage estimation error whenever the judge is reliable, and we connect this to lower-variance policy gradients. Across ALFWorld, Search-QA, and WebShop, TRIAGE improves success rates over GRPO for two policy models and outperforms both a scalar judge-derived process reward and an outcome-supervised shared-backbone value baseline. Ablations show that the gain comes from role typing rather than merely adding dense rewards: reliable detection of regression inside successful trajectories is the dominant contributor, while exploration credit provides a consistent secondary gain; on completed ALFWorld and WebShop rollouts, TRIAGE also reduces environment-facing turns by an additional 10.4% and 14.8% relative to GRPO.