Geprivilegieerde Informatie Distillatie voor Taalmodellen

Privileged Information Distillation for Language Models

February 4, 2026

Auteurs: Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia

cs.AI

Samenvatting

Trainingsgeprivilegieerde informatie (PI) kan taalmodellen in staat stellen te slagen voor taken die ze anders niet zouden voltooien, waardoor het een krachtig hulpmiddel is voor reinforcement learning in moeilijke, langetermijnsettings. Het overdragen van vaardigheden die met PI zijn aangeleerd naar beleidsregels die zonder deze informatie moeten handelen tijdens inferentie blijft echter een fundamentele uitdaging. Wij bestuderen dit probleem in de context van het destilleren van frontier-modellen voor multi-turn agent-omgevingen, waar closed-source systemen doorgaans hun interne redeneerprocessen verbergen en alleen actietrajectoria blootgeven. Dit doorbreekt standaard destillatiepijplijnen, omdat succesvol gedrag waarneembaar is maar het redeneerproces niet. Hiervoor introduceren we π-Distill, een gezamenlijk leraar-leerling-doel dat een PI-geconditioneerde leraar en een niet-geconditioneerde leerling simultaan traint met hetzelfde model. Daarnaast introduceren we ook On-Policy Self-Distillation (OPSD), een alternatieve aanpak die traint met Reinforcement Learning (RL) met een reverse KL-straf tussen de leerling en de PI-geconditioneerde leraar. Wij tonen aan dat beide algoritmen effectief frontier-agents destilleren met uitsluitend actie-gebaseerde PI. Met name vinden we dat π-Distill, en in sommige gevallen OPSD, beter presteren dan industristandaardpraktijken (gecontroleerd finetunen gevolgd door RL) die uitgaan van toegang tot volledige Chain-of-Thought-supervisie, over meerdere agent-gebaseerde benchmarks, modellen en vormen van PI. Wij complementeren onze resultaten met uitgebreide analyse die de factoren karakteriseert die effectief leren met PI mogelijk maken, waarbij we ons primair richten op π-Distill en beschrijven wanneer OPSD competitief is.

English

Training-time privileged information (PI) can enable language models to succeed on tasks they would otherwise fail, making it a powerful tool for reinforcement learning in hard, long-horizon settings. However, transferring capabilities learned with PI to policies that must act without it at inference time remains a fundamental challenge. We study this problem in the context of distilling frontier models for multi-turn agentic environments, where closed-source systems typically hide their internal reasoning and expose only action trajectories. This breaks standard distillation pipelines, since successful behavior is observable but the reasoning process is not. For this, we introduce π-Distill, a joint teacher-student objective that trains a PI-conditioned teacher and an unconditioned student simultaneously using the same model. Additionally, we also introduce On-Policy Self-Distillation (OPSD), an alternative approach that trains using Reinforcement Learning (RL) with a reverse KL-penalty between the student and the PI-conditioned teacher. We show that both of these algorithms effectively distill frontier agents using action-only PI. Specifically we find that π-Distill and in some cases OPSD, outperform industry standard practices (Supervised finetuning followed by RL) that assume access to full Chain-of-Thought supervision across multiple agentic benchmarks, models, and forms of PI. We complement our results with extensive analysis that characterizes the factors enabling effective learning with PI, focusing primarily on π-Distill and characterizing when OPSD is competitive.