MOPD: Многоучительская дистилляция на основе текущей политики для интеграции способностей в пост-обучении больших языковых моделей

Аннотация

Современные большие языковые модели (LLM) полагаются на обучение с подкреплением на этапе пост-тренировки для усиления конкретных способностей, однако интеграция множества способностей в одну модель остаётся сложной задачей. Существующие методы, такие как Off-Policy Finetune и Mix-RL, либо неэффективны, либо теряют производительность. В данной работе мы предлагаем многокомпонентную внутриполитическую дистилляцию (MOPD) — парадигму пост-тренировки для объединения способностей нескольких предметно-ориентированных RL-учителей: сначала мы проводим специализированное RL для каждой предметной области, получая набор учителей, а затем дистиллируем этих учителей в ученика на его собственных траекториях. Это устраняет смещение экспозиции и обеспечивает плотный оптимизационный сигнал. На модели Qwen3-30B-A3B MOPD превосходит базовые методы Mix-RL, Cascade RL, Off-Policy Finetune и Param-Merge, сохраняя практически все способности каждого учителя. MOPD также допускает параллельную и независимую разработку предметно-ориентированных учителей, устраняя межпредметную связанность, характерную для многопредметной пост-тренировки. MOPD был внедрён в пост-тренировку MiMo-V2-Flash — промышленной модели передового уровня, что демонстрирует его практическую ценность для интеграции способностей в LLM передового масштаба.

English

Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.