MOPD: Destilación On-Policy con Múltiples Maestros para la Integración de Capacidades en el Post-Entrenamiento de LLMs

Resumen

Los modelos de lenguaje grandes (LLMs) modernos dependen del aprendizaje por refuerzo durante el post-entrenamiento para potenciar capacidades específicas, pero integrar múltiples capacidades en un solo modelo sigue siendo difícil. Métodos existentes, como el Ajuste Fino Fuera de Política (Off-Policy Finetune) y RL-Mixto (Mix-RL), son ineficientes o pierden rendimiento. En este trabajo proponemos Destilación En Política Multi-Maestro (MOPD), un paradigma de post-entrenamiento para combinar las capacidades de múltiples maestros de RL de dominio: primero ejecutamos RL especializado por dominio para obtener un conjunto de maestros de dominio, luego destilamos estos maestros en el estudiante utilizando sus propios despliegues. Esto elimina el sesgo de exposición y proporciona una señal de optimización densa. En Qwen3-30B-A3B, MOPD supera a las líneas base RL-Mixto, RL en Cascada, Ajuste Fino Fuera de Política y Fusión de Parámetros (Param-Merge), heredando casi toda la capacidad de cada maestro. MOPD también permite el desarrollo paralelo e independiente de maestros de dominio, eliminando el acoplamiento entre dominios típico del post-entrenamiento multi-dominio. MOPD se ha implementado en el post-entrenamiento de MiMo-V2-Flash, un modelo frontera a escala industrial, demostrando su valor práctico para la integración de capacidades en LLMs a escala frontera.

English

Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.