大規模言語モデルのオン方策蒸留の再考 II: 一つの訓練例

要旨

オン方策蒸留（OPD）は、生徒が生成したロールアウトと、教師からのトークンレベルでの密な教師信号を組み合わせる手法である。既存研究は主にそのアルゴリズム的な振る舞いを対象としており、訓練データの役割は不明のままである。本稿では、単一のクエリで訓練するというデータ最小の極限において、その役割を検証する。ワンショットOPDは数百ステップにわたり改善し続け、タスク領域やモデルファミリーを問わず、フルデータOPDの利得の大部分を回復する。この結果を、訓練中に訪問される状態と、生徒が教師に整合していく速度とによって説明する。我々は状態カバレッジ、すなわちフルデータOPDが訪問する状態のうち、あるクエリ集合のロールアウトが到達する割合を測定する。単一のクエリでもすでに71.5%に達し、その大部分は最初の100ステップ以内に訪れる。意味的に異なるクエリを追加すると、カバレッジと検証精度はともに上昇し、16クエリで98.9%に達してフルデータ訓練に一致する。一方で、整合の速度は、OPDが単一クエリで訓練されるかデータセット全体で訓練されるかに関係なく同程度に減速し、固定された状態集合であってもその吸収には数百ステップを要する。したがってOPDは、データは過剰に与えられるものの、アルゴリズムは飢餓状態にある。そのロールアウトは広範な教師信号を急速に露出させる一方で、生徒による教師信号の吸収は次第に遅くなる。この状態カバレッジの結果はマルチ教師OPDにも拡張され、ドメインあたり16の意味的に多様なクエリがフルデータMOPDに匹敵する。さらなるストレステストとして、内容の乏しいテンプレートやドメイン外のWildChatクエリもまた、実際のクエリによるベースラインに近づく。すなわち、タスクの内容と誘発される状態カバレッジは乖離し得る。これらの知見が、今後の研究をOPDのステップ効率に向けさせるとともに、フロンティアのポスト訓練における最近の成功の背後にあるデータとメカニズムの再検討を促すことを期待する。

English

On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher. Existing work has mainly studied its algorithmic behavior, leaving the role of training data unclear. We examine this role at the data-minimal limit by training on a single query. One-shot OPD keeps improving for hundreds of steps and recovers most of full-data OPD's gain across task domains and model families. We explain this result through the states visited during training and the rate at which the student aligns with the teacher. We measure state coverage, the fraction of the states full-data OPD visits that a query set's rollouts reach. A single query already reaches \(71.5\%\), most of it within the first 100 steps. Adding semantically distinct queries raises coverage and validation accuracy together, until 16 queries reach \(98.9\%\) and match full-data training. Yet alignment slows at a similar pace whether OPD trains on one query or the whole dataset, and even a fixed set of states takes hundreds of steps to absorb. OPD is therefore data-overfed but algorithm-starved. Its rollouts quickly expose broad supervision, while the student absorbs that supervision increasingly slowly. The state-coverage result extends to multi-teacher OPD, where 16 semantically diverse queries per domain match full-data MOPD. As a further stress test, content-light templates and off-domain WildChat queries also approach the real-query baseline. Task content and induced state coverage can therefore come apart. We hope these findings direct future work toward the step efficiency of OPD, and prompt a re-examination of the data and the mechanisms behind its recent successes in frontier post-training.