D^3-MOPD: 効率的なマルチティーチャー蒸留のための適応的動的ドメインスケジューリング

要旨

マルチ教師オン方策蒸留（MOPD）は、学生モデル自身のロールアウト上でドメインごとの逆KLダイバージェンスを最小化することにより、複数のドメイン専門家教師を単一の学生モデルへと蒸留する。既存手法は通常、トレーニング前にドメインごとのデータ混合比を固定しており、ドメインによって収束速度が大幅に異なるという事実を見落としている。すなわち、一部のドメインは早期に頭打ちになる一方、他のドメインはトレーニング予算全体を通じて改善し続ける。したがって、固定された混合比は収束の速いドメインに計算資源を浪費し、収束の遅いドメインのトレーニングを不十分なものにする。この問題に対処するため、我々はD^3-MOPD（MOPDのための動的ドメインスケジューリング）を提案する。これは、トレーニング中にすでに生成されているドメインごとの逆KL信号を再利用してドメイン混合比をオンラインで適応させる、ゼロオーバーヘッドのスケジューラである。トレーニングプロセスの外部で非同期に実行されるプロセス外ウォッチャーが、各ドメインのKL軌跡を定期的に追跡し、残存する改善余地と現在の改善率を推定し、中核となるトレーニングループを変更することなくドメインのサンプリング比率を調整する。我々のD^3-MOPDは任意の数のドメインに自然にスケールし、より多くのドメインがスケジューラが活用できる多様な収束パターンをもたらすほど、期待される効果は大きくなる。4つのドメイン専門家教師から蒸留されたQwen3.6-35B-A3B学生モデルにおいて、D^3-MOPDは平均的な学生・教師間の性能ギャップの97%を解消する（バニラMOPDでは63%）。さらに、約3分の1のロールアウトステップ数で同等のピーク性能に到達し、7つのベンチマークのうち3つで専門家教師を上回る。

English

Multi-teacher on-policy distillation (MOPD) distills several domain-expert teachers into a single student by minimizing per-domain reverse-KL divergence on the student's own rollouts. Existing approaches typically fix the per-domain data mixture before training, overlooking the fact that different domains converge at substantially different rates: some plateau early while others continue to improve throughout the training budget. A fixed mixture therefore wastes compute on fast-converging domains and undertrains slower-converging ones. To address this, we propose D^3-MOPD (Dynamic Domain ScheDuling for MOPD), a zero-overhead scheduler that repurposes the per-domain reverse-KL signal already produced during training to adapt the domain mixture online. Running asynchronously outside the training process, an off-process watcher periodically tracks each domain's KL trajectory, estimates remaining headroom and current improvement rate, and accordingly adjusts the domain sampling ratios without altering the core training loop. Our D^3-MOPD scales naturally to arbitrary numbers of domains, and the expected benefit grows as more domains introduce more diverse convergence patterns for the scheduler to exploit. On a Qwen3.6-35B-A3B student distilled from four domain-expert teachers, D^3-MOPD closes 97% of the average student-to-teacher performance gap, compared with 63% for vanilla MOPD, reaches the same peak performance with an approximately 3times reduction in rollout steps, and surpasses the specialist teachers on three of seven benchmarks.