OPID: Destilación de Habilidades On-Policy para el Aprendizaje por Refuerzo Agéntico

Resumen

El aprendizaje por refuerzo basado en resultados proporciona una columna vertebral de optimización estable para agentes lingüísticos, pero sus recompensas dispersas a nivel de trayectoria ofrecen poca orientación sobre qué decisiones intermedias deben reforzarse o suprimirse. La autodestilación en política ofrece una supervisión densa a nivel de tokens; sin embargo, las variantes existentes condicionadas por habilidades a menudo dependen de memorias externas de habilidades o de contexto privilegiado recuperado, cuyo mantenimiento resulta costoso y que pueden no coincidir con la distribución de estados inducida por la política actual en interacciones de múltiples turnos. Proponemos OPID (Destilación de Habilidades en Política), un marco que extrae supervisión de habilidades directamente de trayectorias completadas en política. OPID representa la retrospectiva de la trayectoria como habilidades jerárquicas: las habilidades a nivel de episodio capturan flujos de trabajo globales o reglas de prevención de fallos, mientras que las habilidades a nivel de paso capturan conocimiento de decisión local en momentos críticos. Un mecanismo de enrutamiento crítico-primero utiliza habilidades a nivel de paso cuando se identifican decisiones críticas y recurre a habilidades a nivel de episodio como guía predeterminada en caso contrario. La habilidad seleccionada se inyecta en el historial de interacción, permitiendo que la política antigua re-puntúe la misma respuesta muestreada tanto bajo el contexto original como bajo el contexto aumentado con la habilidad. El cambio de log-probabilidad resultante genera una ventaja de autodestilación a nivel de token, que se combina con la ventaja de resultado para la optimización de la política. Así, OPID preserva el RL como objetivo de entrenamiento principal, a la vez que introduce una supervisión retrospectiva densa y emparejada con la distribución. Experimentos en ALFWorld, WebShop y QA basado en búsqueda demuestran que OPID mejora generalmente el rendimiento del agente, la eficiencia muestral y la robustez en comparación con RL basado únicamente en resultados y con las líneas base existentes de destilación de habilidades. Nuestro código está disponible en https://github.com/jinyangwu/OPID/tree/main.

English

Outcome-based reinforcement learning provides a stable optimization backbone for language agents, but its sparse trajectory-level rewards provide little guidance on which intermediate decisions should be reinforced or suppressed. On-policy self-distillation offers dense token-level supervision, yet existing skill-conditioned variants often rely on external skill memories or retrieved privileged context, which are costly to maintain and can be mismatched with the state distribution induced by the current policy in multi-turn interaction. We propose OPID (On-Policy Skill Distillation), a framework that extracts skill supervision directly from completed on-policy trajectories. OPID represents trajectory hindsight as hierarchical skills: episode-level skills capture global workflows or failure-avoidance rules, while step-level skills capture local decision knowledge at critical timesteps. A critical-first routing mechanism uses step-level skills when critical decisions are identified and falls back to episode-level skills as default guidance otherwise. The selected skill is injected into the interaction history, allowing the old policy to re-score the same sampled response under both original and skill-augmented contexts. The resulting log-probability shift yields a token-level self-distillation advantage, which is combined with the outcome advantage for policy optimization. OPID thus preserves RL as the primary training objective while introducing dense, distribution-matched hindsight supervision. Experiments on ALFWorld, WebShop and Search-based QA demonstrate that OPID generally improves agent performance, sample efficiency, and robustness over outcome-only RL and existing skill-distillation baselines. Our code is available at https://github.com/jinyangwu/OPID/tree/main.