TRIAGE: Asignación de Crédito Tipificada por Roles para el Aprendizaje por Refuerzo Agéntico

Resumen

El aprendizaje por refuerzo agéntico requiere asignar crédito a acciones orientadas al entorno, como búsquedas, clics, ediciones, comandos de navegación e interacciones con objetos. El GRPO estándar utiliza el resultado final del verificador como una ventaja uniforme sobre todos los tokens de acción. Esta señal de resultado es útil pero estructuralmente incompleta: penaliza la exploración útil en trayectorias fallidas y refuerza acciones redundantes o regresivas en trayectorias exitosas. Proponemos TRIAGE, un marco de asignación de crédito tipado por roles que añade un eje semántico de rol al crédito del resultado. Un juez estructurado clasifica cada segmento como progreso decisivo, exploración útil, infraestructura sin progreso o regresión, y una regla fija condicionada por el rol asigna estas etiquetas a recompensas de proceso acotadas a nivel de segmento. Esto mantiene los resultados del verificador como fuente de dirección de optimización, a la vez que corrige los dos principales puntos ciegos del crédito basado solo en resultados. Además, demostramos que el crédito condicionado por el rol constituye la corrección óptima a nivel de segmento expresable únicamente a partir de etiquetas de rol —una proyección del residual de ventaja por segmento sobre la variable de rol—, de modo que las constantes de rol fijas reducen el error de estimación de la ventaja siempre que el juez sea fiable, y vinculamos esto a gradientes de política de menor varianza. En ALFWorld, Search-QA y WebShop, TRIAGE mejora las tasas de éxito respecto a GRPO para dos modelos de política, y supera tanto una recompensa de proceso derivada de un juez escalar como una línea base de valor de columna vertebral compartida supervisada por resultados. Las ablaciones muestran que la ganancia proviene del tipado por roles y no simplemente de añadir recompensas densas: la detección fiable de regresión dentro de trayectorias exitosas es el contribuyente dominante, mientras que el crédito de exploración proporciona una ganancia secundaria consistente; en trayectorias completadas de ALFWorld y WebShop, TRIAGE también reduce los turnos orientados al entorno en un 10.4% y 14.8% adicionales respecto a GRPO.

English

Agentic reinforcement learning requires assigning credit to environment-facing actions such as searches, clicks, edits, navigation commands, and object interactions. Standard GRPO uses the final verifier outcome as a uniform advantage over all action tokens. This outcome signal is useful but structurally incomplete: it punishes useful exploration in failed rollouts and reinforces redundant or regressive actions in successful rollouts. We propose TRIAGE, a role-typed credit assignment framework that adds a semantic role axis to outcome credit. A structured judge classifies each segment as decisive progress, useful exploration, no-progress infrastructure, or regression, and a fixed role-conditioned rule maps these labels to bounded segment-level process rewards. This keeps verifier outcomes as the source of optimization direction while correcting the two main blind spots of outcome-only credit. We further show that role-conditioned credit is the optimal segment-level correction expressible from role labels alone -- a projection of the per-segment advantage residual onto the role variable -- so that the fixed role constants reduce advantage estimation error whenever the judge is reliable, and we connect this to lower-variance policy gradients. Across ALFWorld, Search-QA, and WebShop, TRIAGE improves success rates over GRPO for two policy models and outperforms both a scalar judge-derived process reward and an outcome-supervised shared-backbone value baseline. Ablations show that the gain comes from role typing rather than merely adding dense rewards: reliable detection of regression inside successful trajectories is the dominant contributor, while exploration credit provides a consistent secondary gain; on completed ALFWorld and WebShop rollouts, TRIAGE also reduces environment-facing turns by an additional 10.4% and 14.8% relative to GRPO.