Destilação de Informação Privilegiada para Modelos de Linguagem

Privileged Information Distillation for Language Models

February 4, 2026

Autores: Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia

cs.AI

Resumo

A informação privilegiada durante o treinamento (PI) pode permitir que modelos de linguagem tenham sucesso em tarefas que, de outra forma, falhariam, tornando-a uma ferramenta poderosa para o aprendizado por reforço em ambientes complexos e de longo horizonte. No entanto, transferir as capacidades aprendidas com a PI para políticas que devem agir sem ela no momento da inferência permanece um desafio fundamental. Estudamos este problema no contexto da destilação de modelos de fronteira para ambientes agentivos de múltiplos turnos, onde sistemas de código fechado normalmente ocultam seu raciocínio interno e expõem apenas trajetórias de ação. Isso quebra os pipelines padrão de destilação, uma vez que o comportamento bem-sucedido é observável, mas o processo de raciocínio não. Para isso, introduzimos o π-Distill, um objetivo conjunto professor-aluno que treina um professor condicionado por PI e um aluno não condicionado simultaneamente usando o mesmo modelo. Adicionalmente, também introduzimos a Auto-Destilação em Política (OPSD), uma abordagem alternativa que treina usando Aprendizado por Reforço (RL) com uma penalidade de KL reversa entre o aluno e o professor condicionado por PI. Mostramos que ambos os algoritmos destilam efetivamente agentes de fronteira usando PI apenas de ação. Especificamente, descobrimos que o π-Distill e, em alguns casos, o OPSD, superam as práticas padrão da indústria (afinamento supervisionado seguido de RL) que assumem acesso à supervisão completa de Cadeia de Pensamento em vários benchmarks agentivos, modelos e formas de PI. Complementamos nossos resultados com uma análise extensa que caracteriza os fatores que permitem a aprendizagem eficaz com a PI, focando principalmente no π-Distill e caracterizando quando o OPSD é competitivo.

English

Training-time privileged information (PI) can enable language models to succeed on tasks they would otherwise fail, making it a powerful tool for reinforcement learning in hard, long-horizon settings. However, transferring capabilities learned with PI to policies that must act without it at inference time remains a fundamental challenge. We study this problem in the context of distilling frontier models for multi-turn agentic environments, where closed-source systems typically hide their internal reasoning and expose only action trajectories. This breaks standard distillation pipelines, since successful behavior is observable but the reasoning process is not. For this, we introduce π-Distill, a joint teacher-student objective that trains a PI-conditioned teacher and an unconditioned student simultaneously using the same model. Additionally, we also introduce On-Policy Self-Distillation (OPSD), an alternative approach that trains using Reinforcement Learning (RL) with a reverse KL-penalty between the student and the PI-conditioned teacher. We show that both of these algorithms effectively distill frontier agents using action-only PI. Specifically we find that π-Distill and in some cases OPSD, outperform industry standard practices (Supervised finetuning followed by RL) that assume access to full Chain-of-Thought supervision across multiple agentic benchmarks, models, and forms of PI. We complement our results with extensive analysis that characterizes the factors enabling effective learning with PI, focusing primarily on π-Distill and characterizing when OPSD is competitive.