TRIAGE: Ролево-типизированное распределение кредитов для агентного обучения с подкреплением

Аннотация

Агентное обучение с подкреплением требует присвоения кредита действиям, направленным на взаимодействие со средой, таким как поиски, клики, правки, команды навигации и взаимодействие с объектами. Стандартный метод GRPO использует итоговый результат верификатора как единое преимущество для всех токенов действий. Этот сигнал исхода полезен, но структурно неполон: он наказывает полезное исследование в неудачных развёртываниях и усиливает избыточные или регрессивные действия в успешных развёртываниях. Мы предлагаем TRIAGE — фреймворк ролевой типологии кредита, который добавляет ось семантической роли к кредитному исходу. Структурированная система оценки классифицирует каждый сегмент как решительный прогресс, полезное исследование, инфраструктуру без прогресса или регрессию, а фиксированное правило, обусловленное ролью, отображает эти метки в ограниченные процессные вознаграждения на уровне сегментов. Это сохраняет исходы верификатора как источник направления оптимизации, исправляя при этом два основных слепых пятна кредита, основанного только на исходе. Далее мы показываем, что кредит, обусловленный ролью, является оптимальной коррекцией на уровне сегментов, выразимой только на основе меток ролей — проекцией остатка преимущества на сегмент на переменную роли, — так что фиксированные ролевые константы уменьшают ошибку оценки преимущества, когда судья надёжен, и связываем это с градиентами политики с меньшей дисперсией. В средах ALFWorld, Search-QA и WebShop TRIAGE улучшает показатели успешности по сравнению с GRPO для двух моделей политики и превосходит как скалярное процессное вознаграждение, полученное от судьи, так и базовый уровень общей ценности, контролируемый исходом. Абляции показывают, что выигрыш обусловлен ролевой типизацией, а не просто добавлением плотных вознаграждений: надёжное обнаружение регрессии внутри успешных траекторий является доминирующим фактором, в то время как кредит за исследование обеспечивает последовательный вторичный прирост; на завершённых развёртываниях ALFWorld и WebShop TRIAGE также сокращает количество взаимодействий со средой на дополнительные 10,4% и 14,8% относительно GRPO.

English

Agentic reinforcement learning requires assigning credit to environment-facing actions such as searches, clicks, edits, navigation commands, and object interactions. Standard GRPO uses the final verifier outcome as a uniform advantage over all action tokens. This outcome signal is useful but structurally incomplete: it punishes useful exploration in failed rollouts and reinforces redundant or regressive actions in successful rollouts. We propose TRIAGE, a role-typed credit assignment framework that adds a semantic role axis to outcome credit. A structured judge classifies each segment as decisive progress, useful exploration, no-progress infrastructure, or regression, and a fixed role-conditioned rule maps these labels to bounded segment-level process rewards. This keeps verifier outcomes as the source of optimization direction while correcting the two main blind spots of outcome-only credit. We further show that role-conditioned credit is the optimal segment-level correction expressible from role labels alone -- a projection of the per-segment advantage residual onto the role variable -- so that the fixed role constants reduce advantage estimation error whenever the judge is reliable, and we connect this to lower-variance policy gradients. Across ALFWorld, Search-QA, and WebShop, TRIAGE improves success rates over GRPO for two policy models and outperforms both a scalar judge-derived process reward and an outcome-supervised shared-backbone value baseline. Ablations show that the gain comes from role typing rather than merely adding dense rewards: reliable detection of regression inside successful trajectories is the dominant contributor, while exploration credit provides a consistent secondary gain; on completed ALFWorld and WebShop rollouts, TRIAGE also reduces environment-facing turns by an additional 10.4% and 14.8% relative to GRPO.