OPID : Distillation de compétences on-policy pour l'apprentissage par renforcement agentique

Résumé

L'apprentissage par renforcement basé sur les résultats fournit une base d'optimisation stable pour les agents linguistiques, mais ses récompenses éparses au niveau de la trajectoire offrent peu d'indications sur les décisions intermédiaires qui devraient être renforcées ou supprimées. La distillation sur politique (on-policy self-distillation) apporte une supervision dense au niveau des tokens, mais ses variantes existantes conditionnées par les compétences reposent souvent sur des mémoires de compétences externes ou un contexte privilégié extrait, qui sont coûteux à maintenir et peuvent ne pas correspondre à la distribution d'état induite par la politique courante lors d'interactions multi-tours. Nous proposons OPID (On-Policy Skill Distillation), un cadre qui extrait une supervision par compétences directement à partir de trajectoires complétées sur politique. OPID représente le regard rétrospectif (hindsight) des trajectoires sous forme de compétences hiérarchiques : les compétences au niveau de l'épisode capturent les workflows globaux ou les règles d'évitement d'échec, tandis que les compétences au niveau de l'étape capturent les connaissances décisionnelles locales aux pas de temps critiques. Un mécanisme de routage prioritaire aux étapes critiques utilise les compétences au niveau de l'étape lorsque des décisions critiques sont identifiées, et se replie sur les compétences au niveau de l'épisode comme guide par défaut dans les autres cas. La compétence sélectionnée est injectée dans l'historique d'interaction, permettant à l'ancienne politique de réévaluer la même réponse échantillonnée sous les contextes original et augmenté par la compétence. Le décalage de log-probabilité qui en résulte fournit un avantage de distillation au niveau des tokens, combiné à l'avantage de résultat pour l'optimisation de la politique. OPID préserve ainsi l'apprentissage par renforcement comme objectif d'entraînement principal tout en introduisant une supervision rétrospective dense et adaptée à la distribution. Les expériences sur ALFWorld, WebShop et la recherche QA basée sur la recherche montrent qu'OPID améliore généralement les performances des agents, l'efficacité d'échantillonnage et la robustesse par rapport à l'apprentissage par renforcement basé uniquement sur les résultats et aux références existantes de distillation de compétences. Notre code est disponible sur https://github.com/jinyangwu/OPID/tree/main.

English

Outcome-based reinforcement learning provides a stable optimization backbone for language agents, but its sparse trajectory-level rewards provide little guidance on which intermediate decisions should be reinforced or suppressed. On-policy self-distillation offers dense token-level supervision, yet existing skill-conditioned variants often rely on external skill memories or retrieved privileged context, which are costly to maintain and can be mismatched with the state distribution induced by the current policy in multi-turn interaction. We propose OPID (On-Policy Skill Distillation), a framework that extracts skill supervision directly from completed on-policy trajectories. OPID represents trajectory hindsight as hierarchical skills: episode-level skills capture global workflows or failure-avoidance rules, while step-level skills capture local decision knowledge at critical timesteps. A critical-first routing mechanism uses step-level skills when critical decisions are identified and falls back to episode-level skills as default guidance otherwise. The selected skill is injected into the interaction history, allowing the old policy to re-score the same sampled response under both original and skill-augmented contexts. The resulting log-probability shift yields a token-level self-distillation advantage, which is combined with the outcome advantage for policy optimization. OPID thus preserves RL as the primary training objective while introducing dense, distribution-matched hindsight supervision. Experiments on ALFWorld, WebShop and Search-based QA demonstrate that OPID generally improves agent performance, sample efficiency, and robustness over outcome-only RL and existing skill-distillation baselines. Our code is available at https://github.com/jinyangwu/OPID/tree/main.