TRIAGE : Attribution de crédit typée par rôle pour l'apprentissage par renforcement agentique

Résumé

L'apprentissage par renforcement agentique nécessite d'attribuer du crédit aux actions orientées vers l'environnement, telles que les recherches, les clics, les modifications, les commandes de navigation et les interactions avec les objets. La méthode GRPO standard utilise le résultat final du vérificateur comme un avantage uniforme sur tous les tokens d'action. Ce signal de résultat est utile mais structurellement incomplet : il pénalise l'exploration utile dans les déroulements échoués et renforce les actions redondantes ou régressives dans les déroulements réussis. Nous proposons TRIAGE, un cadre d'attribution de crédit typé par rôle qui ajoute un axe sémantique de rôle au crédit basé sur le résultat. Un juge structuré classifie chaque segment comme un progrès décisif, une exploration utile, une infrastructure sans progrès ou une régression, et une règle fixe conditionnée par le rôle associe ces étiquettes à des récompenses de processus bornées au niveau du segment. Cela conserve les résultats du vérificateur comme source de direction d'optimisation tout en corrigeant les deux principaux angles morts du crédit uniquement basé sur le résultat. Nous montrons en outre que le crédit conditionné par le rôle constitue la correction optimale au niveau du segment qui peut être exprimée à partir des seules étiquettes de rôle — une projection du résidu d'avantage par segment sur la variable de rôle — de sorte que les constantes de rôle fixes réduisent l'erreur d'estimation de l'avantage lorsque le juge est fiable, et nous relions cela à des gradients de politique à plus faible variance. Sur ALFWorld, Search-QA et WebShop, TRIAGE améliore les taux de succès par rapport à GRPO pour deux modèles de politique et surpasse à la fois une récompense de processus scalaire dérivée d'un juge et une ligne de base de valeur à backbone partagé supervisée par le résultat. Les ablations montrent que le gain provient du typage par rôle plutôt que de la simple addition de récompenses denses : la détection fiable de la régression à l'intérieur des trajectoires réussies est le principal contributeur, tandis que le crédit d'exploration fournit un gain secondaire constant ; sur les déroulements complets d'ALFWorld et WebShop, TRIAGE réduit également le nombre de tours orientés vers l'environnement de 10,4 % et 14,8 % supplémentaires par rapport à GRPO.

English

Agentic reinforcement learning requires assigning credit to environment-facing actions such as searches, clicks, edits, navigation commands, and object interactions. Standard GRPO uses the final verifier outcome as a uniform advantage over all action tokens. This outcome signal is useful but structurally incomplete: it punishes useful exploration in failed rollouts and reinforces redundant or regressive actions in successful rollouts. We propose TRIAGE, a role-typed credit assignment framework that adds a semantic role axis to outcome credit. A structured judge classifies each segment as decisive progress, useful exploration, no-progress infrastructure, or regression, and a fixed role-conditioned rule maps these labels to bounded segment-level process rewards. This keeps verifier outcomes as the source of optimization direction while correcting the two main blind spots of outcome-only credit. We further show that role-conditioned credit is the optimal segment-level correction expressible from role labels alone -- a projection of the per-segment advantage residual onto the role variable -- so that the fixed role constants reduce advantage estimation error whenever the judge is reliable, and we connect this to lower-variance policy gradients. Across ALFWorld, Search-QA, and WebShop, TRIAGE improves success rates over GRPO for two policy models and outperforms both a scalar judge-derived process reward and an outcome-supervised shared-backbone value baseline. Ablations show that the gain comes from role typing rather than merely adding dense rewards: reliable detection of regression inside successful trajectories is the dominant contributor, while exploration credit provides a consistent secondary gain; on completed ALFWorld and WebShop rollouts, TRIAGE also reduces environment-facing turns by an additional 10.4% and 14.8% relative to GRPO.