潜在オン方策自己蒸留

要旨

エージェントが経験から学習し、それを方策に内面化することは、自己進化型AIにおける中心的な問題となっている。オン方策自己蒸留（OPSD）は、特権的自己教師を用いて生徒自身の軌跡に密な教師信号を提供するという有効な手段を提供する。しかしながら、既存手法は依然として設計者が指定した特権的要素（例：回答、フィードバック、スキル、軌跡）に大きく依存しており、継続的な自己改善に必要なエンドツーエンドの学習可能性とスケーラビリティを制限している。本研究では、特権的文脈の新たに規定された形式を持つ別の手作りOPSD変種を提案するのではなく、教師の特権的文脈自体を経験からエンドツーエンドで学習可能にする、潜在オン方策自己蒸留（LOPD）を導入する。技術的には、LOPDは関連する経験を検索し、それらを自己教師を条件付ける連続的な潜在トークンに構成する。一方、生徒はタスクと対話履歴から軌跡を生成し、各訪問済みプレフィックスにおいてトークン単位の密な教師信号を受け取る。さらに、潜在文脈の学習を安定化・調整するために、特権マージン目的関数を導入する。実験的には、LOPDは以下のことを示す：（I）強力な性能：エージェント型ツール利用とコード生成の両方において、RLVRおよびOPSD、SDPO、Skill-SDを含む代表的なOPSD手法を上回る。（II）高い学習効率：GRPOとSkill-SDを、それらのロールアウト予算の30%未満で凌駕する。アブレーション実験はさらに、特権的文脈を学習可能にすることがこうした改善を実現するために必要であるという直接的な証拠を提供する。これらを総合すると、LOPDはエージェント進化のための、よりスケーラブルで自己主導的なパラダイムへの一歩として位置づけられる。

English

Enabling agents to learn from experience and internalize it into their policy has become a central problem in self-evolving AI. On-policy self-distillation (OPSD) offers an effective pathway by using a privileged self-teacher to provide dense supervision on the student's own trajectories; however, existing methods still rely heavily on designer-specified privileged artifacts (e.g., answers, feedback, skills, or trajectories), limiting the end-to-end learnability and scalability required for continual self-improvement. In this work, we introduce Latent On-Policy Self-Distillation (LOPD), which, rather than proposing another hand-crafted OPSD variant with a newly prescribed form of privileged context, makes the teacher's privileged context itself learnable end-to-end from experience. Technically, LOPD retrieves relevant experiences and composes them into continuous latent tokens that condition a self-teacher, while the student generates trajectories from the task and interaction history and receives dense token-level supervision at every visited prefix. We further introduce a privileged-margin objective to stabilize and regulate the learning of latent context. Empirically, LOPD demonstrates (I) strong performance, outperforming RLVR and representative OPSD methods including OPSD, SDPO, and Skill-SD across both agentic tool use and code generation; and (II) high learning efficiency, surpassing GRPO and Skill-SD with less than 30% of their rollout budget. Ablation studies further provide direct evidence that making privileged context learnable is necessary for realizing these gains. Together, these results position LOPD as a step toward a more scalable and self-directed paradigm for agent evolution.