Distilación de Información Privilegiada para Modelos de Lenguaje
Privileged Information Distillation for Language Models
February 4, 2026
Autores: Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia
cs.AI
Resumen
La información privilegiada durante el entrenamiento (PI, por sus siglas en inglés) puede permitir que los modelos de lenguaje tengan éxito en tareas en las que de otro modo fracasarían, lo que la convierte en una herramienta poderosa para el aprendizaje por refuerzo en entornos difíciles y de horizonte largo. Sin embargo, transferir las capacidades aprendidas con PI a políticas que deben actuar sin ella en el momento de la inferencia sigue siendo un desafío fundamental. Estudiamos este problema en el contexto de la destilación de modelos de vanguardia para entornos agentivos de múltiples turnos, donde los sistemas de código cerrado normalmente ocultan su razonamiento interno y solo exponen trayectorias de acciones. Esto rompe las canalizaciones de destilación estándar, ya que el comportamiento exitoso es observable pero el proceso de razonamiento no. Para ello, presentamos π-Distill, un objetivo conjunto de profesor-estudiante que entrena a un profesor condicionado por PI y a un estudiante no condicionado simultáneamente utilizando el mismo modelo. Adicionalmente, también presentamos la Auto-Destilación sobre la Política (OPSD, por sus siglas en inglés), un enfoque alternativo que entrena utilizando Aprendizaje por Refuerzo (RL) con una penalización de KL inversa entre el estudiante y el profesor condicionado por PI. Demostramos que ambos algoritmos destilan efectivamente a agentes de vanguardia utilizando PI que solo contiene acciones. Específicamente, encontramos que π-Distill y, en algunos casos, OPSD, superan a las prácticas estándar de la industria (ajuste fino supervisado seguido de RL) que asumen acceso a una supervisión completa de Cadena de Pensamiento en múltiples benchmarks agentivos, modelos y formas de PI. Complementamos nuestros resultados con un análisis extenso que caracteriza los factores que permiten un aprendizaje efectivo con PI, centrándonos principalmente en π-Distill y caracterizando cuándo OPSD es competitivo.
English
Training-time privileged information (PI) can enable language models to succeed on tasks they would otherwise fail, making it a powerful tool for reinforcement learning in hard, long-horizon settings. However, transferring capabilities learned with PI to policies that must act without it at inference time remains a fundamental challenge. We study this problem in the context of distilling frontier models for multi-turn agentic environments, where closed-source systems typically hide their internal reasoning and expose only action trajectories. This breaks standard distillation pipelines, since successful behavior is observable but the reasoning process is not. For this, we introduce π-Distill, a joint teacher-student objective that trains a PI-conditioned teacher and an unconditioned student simultaneously using the same model. Additionally, we also introduce On-Policy Self-Distillation (OPSD), an alternative approach that trains using Reinforcement Learning (RL) with a reverse KL-penalty between the student and the PI-conditioned teacher. We show that both of these algorithms effectively distill frontier agents using action-only PI. Specifically we find that π-Distill and in some cases OPSD, outperform industry standard practices (Supervised finetuning followed by RL) that assume access to full Chain-of-Thought supervision across multiple agentic benchmarks, models, and forms of PI. We complement our results with extensive analysis that characterizes the factors enabling effective learning with PI, focusing primarily on π-Distill and characterizing when OPSD is competitive.