MOPD : Distillation multi-enseignant sur politique pour l'intégration de capacités dans le post-entraînement des LLM

Résumé

Les grands modèles de langage (LLM) modernes s'appuient sur l'apprentissage par renforcement lors de la phase de post-entraînement pour améliorer des capacités spécifiques, mais il reste difficile d'intégrer plusieurs capacités au sein d'un même modèle. Les méthodes existantes, telles que Off-Policy Finetune et Mix-RL, sont soit inefficaces, soit entraînent une perte de performance. Dans ce travail, nous proposons la distillation multi-enseignante sur politique (MOPD), un paradigme de post-entraînement qui combine les capacités de plusieurs enseignants RL spécialisés par domaine : nous commençons par un RL spécialisé par domaine pour obtenir un ensemble d'enseignants, puis nous distillons ces enseignants dans l'étudiant en utilisant ses propres trajectoires. Cette approche élimine le biais d'exposition et fournit un signal d'optimisation dense. Sur Qwen3-30B-A3B, MOPD surpasse les références Mix-RL, Cascade RL, Off-Policy Finetune et Param-Merge, en héritant de presque toutes les capacités de chaque enseignant. MOPD permet également un développement parallèle et indépendant des enseignants par domaine, supprimant ainsi le couplage inter-domaines typique du post-entraînement multi-domaines. MOPD a été déployé dans le post-entraînement de MiMo-V2-Flash, un modèle de pointe à l'échelle industrielle, démontrant ainsi sa valeur pratique pour l'intégration des capacités dans les LLM à l'échelle de la frontière technologique.

English

Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.