TRIAGE: Rollentypisierte Kreditzuweisung für agentisches Reinforcement Learning

Zusammenfassung

Agentisches Reinforcement Learning erfordert die Zuweisung von Krediten an umgebungsgerichtete Aktionen wie Suchen, Klicks, Bearbeitungen, Navigationsbefehle und Objektinteraktionen. Das standardmäßige GRPO nutzt das finale Verifikationsergebnis als einheitlichen Advantage über alle Aktions-Tokens hinweg. Dieses Ergebnis-Signal ist nützlich, aber strukturell unvollständig: Es bestraft nützliche Exploration in fehlgeschlagenen Rollouts und verstärkt redundante oder regressive Aktionen in erfolgreichen Rollouts. Wir schlagen TRIAGE vor, einen rollentypisierten Kreditzuweisungsrahmen, der eine semantische Rollenachse zum Ergebnis-Kredit hinzufügt. Ein strukturierter Bewerter klassifiziert jedes Segment als entscheidenden Fortschritt, nützliche Exploration, fortschrittslose Infrastruktur oder Regression, und eine feste rollenbedingte Regel ordnet diese Bezeichnungen begrenzten segmentbezogenen Prozessbelohnungen zu. Dies bewahrt die Verifikationsergebnisse als Quelle der Optimierungsrichtung, während die beiden Hauptblindstellen einer rein ergebnisbasierten Kreditzuweisung korrigiert werden. Wir zeigen weiterhin, dass rollenbedingter Kredit die optimale segmentbezogene Korrektur ist, die allein aus Rollenbezeichnungen ausgedrückt werden kann – eine Projektion des segmentweisen Advantage-Residuums auf die Rollenvariable –, sodass die festen Rollenkonstanten den Advantage-Schätzfehler immer dann reduzieren, wenn der Bewerter zuverlässig ist, und wir verbinden dies mit Policy-Gradienten niedrigerer Varianz. Über ALFWorld, Search-QA und WebShop hinweg verbessert TRIAGE die Erfolgsraten gegenüber GRPO für zwei Policy-Modelle und übertrifft sowohl eine skalare, von einem Bewerter abgeleitete Prozessbelohnung als auch eine ergebnisüberwachte gemeinsame Backbone-Wertbaseline. Ablationen zeigen, dass der Gewinn auf die Rollentypisierung zurückzuführen ist und nicht auf die bloße Hinzufügung dichter Belohnungen: Die zuverlässige Erkennung von Regression innerhalb erfolgreicher Trajektorien ist der dominante Beitrag, während Explorationskredit einen konsistenten sekundären Gewinn liefert; bei abgeschlossenen ALFWorld- und WebShop-Rollouts reduziert TRIAGE zudem die umgebungsgerichteten Aktionen um zusätzliche 10,4 % bzw. 14,8 % im Vergleich zu GRPO.

English

Agentic reinforcement learning requires assigning credit to environment-facing actions such as searches, clicks, edits, navigation commands, and object interactions. Standard GRPO uses the final verifier outcome as a uniform advantage over all action tokens. This outcome signal is useful but structurally incomplete: it punishes useful exploration in failed rollouts and reinforces redundant or regressive actions in successful rollouts. We propose TRIAGE, a role-typed credit assignment framework that adds a semantic role axis to outcome credit. A structured judge classifies each segment as decisive progress, useful exploration, no-progress infrastructure, or regression, and a fixed role-conditioned rule maps these labels to bounded segment-level process rewards. This keeps verifier outcomes as the source of optimization direction while correcting the two main blind spots of outcome-only credit. We further show that role-conditioned credit is the optimal segment-level correction expressible from role labels alone -- a projection of the per-segment advantage residual onto the role variable -- so that the fixed role constants reduce advantage estimation error whenever the judge is reliable, and we connect this to lower-variance policy gradients. Across ALFWorld, Search-QA, and WebShop, TRIAGE improves success rates over GRPO for two policy models and outperforms both a scalar judge-derived process reward and an outcome-supervised shared-backbone value baseline. Ablations show that the gain comes from role typing rather than merely adding dense rewards: reliable detection of regression inside successful trajectories is the dominant contributor, while exploration credit provides a consistent secondary gain; on completed ALFWorld and WebShop rollouts, TRIAGE also reduces environment-facing turns by an additional 10.4% and 14.8% relative to GRPO.