MOPD: LLM 사후 훈련에서의 능력 통합을 위한 다중 교사 온-정책 증류

초록

현대의 대규모 언어 모델(LLM)은 사후 훈련 단계에서 강화 학습을 활용하여 특정 능력을 향상시키지만, 여러 능력을 하나의 모델에 통합하는 것은 여전히 어려운 과제입니다. 기존 방법론인 오프-정책 미세 조정(Off-Policy Finetune)이나 혼합 강화 학습(Mix-RL)은 효율성이 떨어지거나 성능 저하를 초래합니다. 본 연구에서는 다중 도메인 강화 학습 교사들의 능력을 결합하기 위한 사후 훈련 패러다임인 다중 교사 온-정책 증류(Multi-teacher On-Policy Distillation, MOPD)를 제안합니다. 먼저 각 도메인에 특화된 강화 학습을 수행하여 도메인 교사 집합을 구축하고, 이후 학생 모델이 자체적으로 생성한 롤아웃(rollout) 데이터를 기반으로 이 교사들을 증류합니다. 이를 통해 노출 편향을 제거하고 밀집된 최적화 신호를 제공합니다. Qwen3-30B-A3B 모델에서 MOPD는 Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge 기준선을 능가하며, 각 교사 능력의 거의 전부를 계승합니다. 또한 MOPD는 도메인 교사들의 병렬적이고 독립적인 개발을 가능하게 하여, 다중 도메인 사후 훈련에서 흔히 발생하는 교차 도메인 결합 문제를 해결합니다. MOPD는 산업 규모의 프런티어 모델인 MiMo-V2-Flash의 사후 훈련에 실제로 배포되어, 프런티어 규모 LLM에서의 능력 통합에 대한 실용적 가치를 입증하였습니다.

English

Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.