MOPD: Multi-Teacher On-Policy Distillation für die Fähigkeitsintegration im LLM-Post-Training

Zusammenfassung

Moderne große Sprachmodelle (LLMs) setzen beim Nachtraining auf bestärkendes Lernen, um bestimmte Fähigkeiten zu verbessern. Dennoch bleibt es schwierig, mehrere Fähigkeiten in einem Modell zu vereinen. Bestehende Methoden wie Off-Policy-Feintuning und Mix-RL sind entweder ineffizient oder verlieren an Leistung. In dieser Arbeit schlagen wir Multi-Teacher-On-Policy-Distillation (MOPD) vor, ein Nachtraining-Paradigma zur Kombination der Fähigkeiten mehrerer domänenspezifischer RL-Lehrer: Wir führen zunächst pro Domäne spezialisiertes RL durch, um eine Reihe von Domänenlehrern zu erhalten, und destillieren diese Lehrer dann auf den eigenen Rollouts des Schülers. Dies eliminiert Expositionsbias und liefert ein dichtes Optimierungssignal. Auf Qwen3-30B-A3B übertrifft MOPD die Baseline-Methoden Mix-RL, Kaskaden-RL, Off-Policy-Feintuning und Param-Merge und erbt nahezu alle Fähigkeiten jedes Lehrers. MOPD ermöglicht zudem die parallele, unabhängige Entwicklung von Domänenlehrern und beseitigt die für das Multi-Domänen-Nachtraining typische domänenübergreifende Kopplung. MOPD wurde im Nachtraining von MiMo-V2-Flash, einem industriellen Spitzenmodell, eingesetzt, was seinen praktischen Nutzen für die Fähigkeitsintegration in führenden LLMs demonstriert.

English

Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.