OPID: On-Policy-Fähigkeitsdestillation für agentisches Reinforcement Learning

Zusammenfassung

Ergebnisbasiertes Reinforcement Learning bietet ein stabiles Optimierungsfundament für Sprachagenten, aber seine spärlichen Belohnungen auf Trajektorienebene geben wenig Aufschluss darüber, welche Zwischenentscheidungen verstärkt oder unterdrückt werden sollten. On-Policy-Selbstdestillation bietet eine dichte Überwachung auf Token-Ebene, doch bestehende fähigkeitskonditionierte Varianten sind oft auf externe Fähigkeitsspeicher oder abgerufenen privilegierten Kontext angewiesen, die aufwendig zu pflegen sind und nicht mit der Zustandsverteilung übereinstimmen können, die durch die aktuelle Richtlinie in mehrschrittigen Interaktionen induziert wird. Wir schlagen OPID (On-Policy Skill Distillation) vor, ein Framework, das Fähigkeitsüberwachung direkt aus abgeschlossenen On-Policy-Trajektorien extrahiert. OPID repräsentiert Trajektorien-Rückschau als hierarchische Fähigkeiten: Fähigkeiten auf Episodenebene erfassen globale Arbeitsabläufe oder Fehlervermeidungsregeln, während Fähigkeiten auf Schrittebene lokales Entscheidungswissen zu kritischen Zeitschritten erfassen. Ein Kritisch-zuerst-Routingmechanismus verwendet Fähigkeiten auf Schrittebene, wenn kritische Entscheidungen identifiziert werden, und fällt andernfalls als Standardvorgabe auf Fähigkeiten auf Episodenebene zurück. Die ausgewählte Fähigkeit wird in den Interaktionsverlauf eingefügt, sodass die alte Richtlinie dieselbe abgetastete Antwort sowohl unter dem ursprünglichen als auch unter dem fähigkeitserweiterten Kontext neu bewerten kann. Die resultierende Log-Wahrscheinlichkeitsverschiebung ergibt einen Vorteil der Selbstdestillation auf Token-Ebene, der mit dem Ergebnisvorteil zur Richtlinienoptimierung kombiniert wird. OPID bewahrt somit RL als primäres Trainingsziel, während es dichte, verteilungsangepasste Rückschauüberwachung einführt. Experimente auf ALFWorld, WebShop und suchbasierter QA zeigen, dass OPID allgemein die Agentenleistung, Stichprobeneffizienz und Robustheit gegenüber rein ergebnisbasiertem RL und bestehenden Fähigkeitsdestillations-Baselines verbessert. Unser Code ist verfügbar unter https://github.com/jinyangwu/OPID/tree/main.

English

Outcome-based reinforcement learning provides a stable optimization backbone for language agents, but its sparse trajectory-level rewards provide little guidance on which intermediate decisions should be reinforced or suppressed. On-policy self-distillation offers dense token-level supervision, yet existing skill-conditioned variants often rely on external skill memories or retrieved privileged context, which are costly to maintain and can be mismatched with the state distribution induced by the current policy in multi-turn interaction. We propose OPID (On-Policy Skill Distillation), a framework that extracts skill supervision directly from completed on-policy trajectories. OPID represents trajectory hindsight as hierarchical skills: episode-level skills capture global workflows or failure-avoidance rules, while step-level skills capture local decision knowledge at critical timesteps. A critical-first routing mechanism uses step-level skills when critical decisions are identified and falls back to episode-level skills as default guidance otherwise. The selected skill is injected into the interaction history, allowing the old policy to re-score the same sampled response under both original and skill-augmented contexts. The resulting log-probability shift yields a token-level self-distillation advantage, which is combined with the outcome advantage for policy optimization. OPID thus preserves RL as the primary training objective while introducing dense, distribution-matched hindsight supervision. Experiments on ALFWorld, WebShop and Search-based QA demonstrate that OPID generally improves agent performance, sample efficiency, and robustness over outcome-only RL and existing skill-distillation baselines. Our code is available at https://github.com/jinyangwu/OPID/tree/main.