OPID: Destilação de Habilidades On-Policy para Aprendizado por Reforço Agêntico

Resumo

A aprendizagem por reforço baseada em resultado fornece uma base de otimização estável para agentes de linguagem, mas suas recompensas esparsas em nível de trajetória oferecem pouca orientação sobre quais decisões intermediárias devem ser reforçadas ou suprimidas. A autodestilação on-policy oferece supervisão densa em nível de token; no entanto, variantes existentes condicionadas a habilidades frequentemente dependem de memórias externas de habilidades ou de contexto privilegiado recuperado, que são custosos de manter e podem não corresponder à distribuição de estados induzida pela política atual em interações multi-turno. Propomos o OPID (On-Policy Skill Distillation), um framework que extrai supervisão de habilidades diretamente de trajetórias on-policy completadas. O OPID representa a retrospectiva da trajetória como habilidades hierárquicas: habilidades em nível de episódio capturam workflows globais ou regras de prevenção de falhas, enquanto habilidades em nível de passo capturam conhecimento decisório local em momentos críticos. Um mecanismo de roteamento crítico-primeiro utiliza habilidades em nível de passo quando decisões críticas são identificadas e recorre a habilidades em nível de episódio como orientação padrão, caso contrário. A habilidade selecionada é injetada no histórico de interação, permitindo que a política antiga reavalie a mesma resposta amostrada sob contextos original e aumentado pela habilidade. O deslocamento de log-probabilidade resultante produz uma vantagem de autodestilação em nível de token, que é combinada com a vantagem de resultado para otimização da política. Assim, o OPID preserva o RL como objetivo principal de treinamento ao mesmo tempo que introduz supervisão retrospectiva densa e compatível com a distribuição. Experimentos em ALFWorld, WebShop e Search-based QA demonstram que o OPID geralmente melhora o desempenho do agente, a eficiência amostral e a robustez em relação ao RL baseado apenas em resultado e a linhas de base existentes de destilação de habilidades. Nosso código está disponível em https://github.com/jinyangwu/OPID/tree/main.

English

Outcome-based reinforcement learning provides a stable optimization backbone for language agents, but its sparse trajectory-level rewards provide little guidance on which intermediate decisions should be reinforced or suppressed. On-policy self-distillation offers dense token-level supervision, yet existing skill-conditioned variants often rely on external skill memories or retrieved privileged context, which are costly to maintain and can be mismatched with the state distribution induced by the current policy in multi-turn interaction. We propose OPID (On-Policy Skill Distillation), a framework that extracts skill supervision directly from completed on-policy trajectories. OPID represents trajectory hindsight as hierarchical skills: episode-level skills capture global workflows or failure-avoidance rules, while step-level skills capture local decision knowledge at critical timesteps. A critical-first routing mechanism uses step-level skills when critical decisions are identified and falls back to episode-level skills as default guidance otherwise. The selected skill is injected into the interaction history, allowing the old policy to re-score the same sampled response under both original and skill-augmented contexts. The resulting log-probability shift yields a token-level self-distillation advantage, which is combined with the outcome advantage for policy optimization. OPID thus preserves RL as the primary training objective while introducing dense, distribution-matched hindsight supervision. Experiments on ALFWorld, WebShop and Search-based QA demonstrate that OPID generally improves agent performance, sample efficiency, and robustness over outcome-only RL and existing skill-distillation baselines. Our code is available at https://github.com/jinyangwu/OPID/tree/main.