Дистилляция привилегированной информации для языковых моделей

Privileged Information Distillation for Language Models

February 4, 2026

Авторы: Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia

cs.AI

Аннотация

Информация, доступная только на этапе обучения (privileged information, PI), может позволить языковым моделям успешно справляться с задачами, которые в противном случае были бы для них недоступны, что делает её мощным инструментом обучения с подкреплением в сложных сценариях с длительным горизонтом планирования. Однако передача возможностей, усвоенных с помощью PI, политикам, которые должны действовать без неё во время вывода, остаётся фундаментальной проблемой. Мы исследуем эту проблему в контексте дистилляции передовых моделей для многошаговых агентных сред, где закрытые системы обычно скрывают свои внутренние рассуждения и предоставляют лишь траектории действий. Это нарушает стандартные конвейеры дистилляции, поскольку успешное поведение наблюдаемо, а процесс рассуждений — нет. Для решения этой проблемы мы представляем π-Distill, совместную цель обучения «учителя» и «ученика», которая одновременно обучает «учителя», обусловленного PI, и безусловного «ученика», используя одну и ту же модель. Кроме того, мы также представляем Само-дистилляцию на основе политики (On-Policy Self-Distillation, OPSD) — альтернативный подход, который использует обучение с подкреплением (RL) с обратным KL-штрафом между «учеником» и «учителем», обусловленным PI. Мы показываем, что оба этих алгоритма эффективно дистиллируют передовых агентов, используя PI, представленную только действиями. В частности, мы обнаруживаем, что π-Distill, а в некоторых случаях и OPSD, превосходят стандартные отраслевые практики (контролируемое дообучение с последующим RL), которые предполагают доступ к полной цепочке рассуждений (Chain-of-Thought), на множестве агентных бенчмарков, для различных моделей и форм PI. Мы дополняем наши результаты обширным анализом, который характеризует факторы, способствующие эффективному обучению с PI, в основном фокусируясь на π-Distill и определяя условия, при которых OPSD является конкурентоспособной.

English

Training-time privileged information (PI) can enable language models to succeed on tasks they would otherwise fail, making it a powerful tool for reinforcement learning in hard, long-horizon settings. However, transferring capabilities learned with PI to policies that must act without it at inference time remains a fundamental challenge. We study this problem in the context of distilling frontier models for multi-turn agentic environments, where closed-source systems typically hide their internal reasoning and expose only action trajectories. This breaks standard distillation pipelines, since successful behavior is observable but the reasoning process is not. For this, we introduce π-Distill, a joint teacher-student objective that trains a PI-conditioned teacher and an unconditioned student simultaneously using the same model. Additionally, we also introduce On-Policy Self-Distillation (OPSD), an alternative approach that trains using Reinforcement Learning (RL) with a reverse KL-penalty between the student and the PI-conditioned teacher. We show that both of these algorithms effectively distill frontier agents using action-only PI. Specifically we find that π-Distill and in some cases OPSD, outperform industry standard practices (Supervised finetuning followed by RL) that assume access to full Chain-of-Thought supervision across multiple agentic benchmarks, models, and forms of PI. We complement our results with extensive analysis that characterizes the factors enabling effective learning with PI, focusing primarily on π-Distill and characterizing when OPSD is competitive.