Privileged Information Distillation für Sprachmodelle

papers.abstract

Trainingszeitprivilegierte Informationen (PI) können Sprachmodelle dazu befähigen, Aufgaben zu bewältigen, die sie andernfalls nicht lösen könnten, was sie zu einem mächtigen Werkzeug für Reinforcement Learning in schwierigen, langfristigen Szenarien macht. Die Übertragung von Fähigkeiten, die mit PI erlernt wurden, auf Policies, die zur Inferenzzeit ohne sie auskommen müssen, bleibt jedoch eine grundlegende Herausforderung. Wir untersuchen dieses Problem im Kontext der Distillation von Frontier-Modellen für Multi-Turn-Agenten-Umgebungen, bei denen Closed-Source-Systeme typischerweise ihre interne Argumentation verbergen und nur Aktions-Trajektorien preisgeben. Dies durchbricht Standard-Distillations-Pipelines, da erfolgreiches Verhalten zwar beobachtbar, der Denkprozess jedoch nicht nachvollziehbar ist. Dafür führen wir π-Distill ein, ein gemeinsames Lehrer-Schüler-Ziel, das einen PI-konditionierten Lehrer und einen unbedingten Schüler simultan mit demselben Modell trainiert. Zusätzlich stellen wir On-Policy Self-Distillation (OPSD) vor, einen alternativen Ansatz, der mit Reinforcement Learning (RL) und einer Reverse-KL-Strafe zwischen Schüler und PI-konditioniertem Lehrer trainiert. Wir zeigen, dass beide Algorithmen effektiv Frontier-Agenten unter Verwendung von aktionsbasierten PI distillieren. Konkret finden wir, dass π-Distill und in manchen Fällen OPSD industrieübliche Verfahren (überwachtes Feinabstimmen gefolgt von RL) übertreffen, die vollen Chain-of-Thought-Zugang voraussetzen – und dies über mehrere Agenten-Benchmarks, Modelle und Formen von PI hinweg. Wir ergänzen unsere Ergebnisse mit einer umfangreichen Analyse, die die Faktoren charakterisiert, die effektives Lernen mit PI ermöglichen, mit Fokus auf π-Distill und der Charakterisierung, wann OPSD konkurrenzfähig ist.

English

Training-time privileged information (PI) can enable language models to succeed on tasks they would otherwise fail, making it a powerful tool for reinforcement learning in hard, long-horizon settings. However, transferring capabilities learned with PI to policies that must act without it at inference time remains a fundamental challenge. We study this problem in the context of distilling frontier models for multi-turn agentic environments, where closed-source systems typically hide their internal reasoning and expose only action trajectories. This breaks standard distillation pipelines, since successful behavior is observable but the reasoning process is not. For this, we introduce π-Distill, a joint teacher-student objective that trains a PI-conditioned teacher and an unconditioned student simultaneously using the same model. Additionally, we also introduce On-Policy Self-Distillation (OPSD), an alternative approach that trains using Reinforcement Learning (RL) with a reverse KL-penalty between the student and the PI-conditioned teacher. We show that both of these algorithms effectively distill frontier agents using action-only PI. Specifically we find that π-Distill and in some cases OPSD, outperform industry standard practices (Supervised finetuning followed by RL) that assume access to full Chain-of-Thought supervision across multiple agentic benchmarks, models, and forms of PI. We complement our results with extensive analysis that characterizes the factors enabling effective learning with PI, focusing primarily on π-Distill and characterizing when OPSD is competitive.

Privileged Information Distillation für Sprachmodelle

Privileged Information Distillation for Language Models

papers.abstract

Support