MiMo-V2-Flash 技術報告書
MiMo-V2-Flash Technical Report
January 6, 2026
著者: Bangjun Xiao, Bingquan Xia, Bo Yang, Bofei Gao, Bowen Shen, Chen Zhang, Chenhong He, Chiheng Lou, Fuli Luo, Gang Wang, Gang Xie, Hailin Zhang, Hanglong Lv, Hanyu Li, Heyu Chen, Hongshen Xu, Houbin Zhang, Huaqiu Liu, Jiangshan Duo, Jianyu Wei, Jiebao Xiao, Jinhao Dong, Jun Shi, Junhao Hu, Kainan Bao, Kang Zhou, Lei Li, Liang Zhao, Linghao Zhang, Peidian Li, Qianli Chen, Shaohui Liu, Shihua Yu, Shijie Cao, Shimao Chen, Shouqiu Yu, Shuo Liu, Tianling Zhou, Weijiang Su, Weikun Wang, Wenhan Ma, Xiangwei Deng, Bohan Mao, Bowen Ye, Can Cai, Chenghua Wang, Chengxuan Zhu, Chong Ma, Chun Chen, Chunan Li, Dawei Zhu, Deshan Xiao, Dong Zhang, Duo Zhang, Fangyue Liu, Feiyu Yang, Fengyuan Shi, Guoan Wang, Hao Tian, Hao Wu, Heng Qu, Hongfei Yi, Hongxu An, Hongyi Guan, Xing Zhang, Yifan Song, Yihan Yan, Yihao Zhao, Yingchun Lai, Yizhao Gao, Yu Cheng, Yuanyuan Tian, Yudong Wang, Zhen Tang, Zhengju Tang, Zhengtao Wen, Zhichao Song, Zhixian Zheng, Zihan Jiang, Jian Wen, Jiarui Sun, Jiawei Li, Jinlong Xue, Jun Xia, Kai Fang, Menghang Zhu, Nuo Chen, Qian Tu, Qihao Zhang, Qiying Wang, Rang Li, Rui Ma, Shaolei Zhang, Shengfan Wang, Shicheng Li, Shuhao Gu, Shuhuai Ren, Sirui Deng, Tao Guo, Tianyang Lu, Weiji Zhuang, Weikang Zhang, Weimin Xiong, Wenshan Huang, Wenyu Yang, Xin Zhang, Xing Yong, Xu Wang, Xueyang Xie, Yilin Jiang, Yixin Yang, Yongzhe He, Yu Tu, Yuanliang Dong, Yuchen Liu, Yue Ma, Yue Yu, Yuxing Xiang, Zhaojun Huang, Zhenru Lin, Zhipeng Xu, Zhiyang Chen, Zhonghua Deng, Zihan Zhang, Zihao Yue
cs.AI
要旨
我々はMiMo-V2-Flashを発表します。これは、合計309Bパラメータ、活性化15BパラメータのMixture-of-Experts（MoE）モデルであり、高速で強力な推論能力とエージェント機能を実現するように設計されています。MiMo-V2-Flashは、Sliding Window Attention（SWA）とグローバルアテンションを5:1のハイブリッド比率で交互に配置するハイブリッドアテンションアーキテクチャを採用し、スライディングウィンドウは128トークンです。本モデルは、27兆トークンでネイティブ32kのコンテキスト長を用いてMulti-Token Prediction（MTP）により事前学習され、その後256kまで拡張されています。学習後の計算効率を高めるため、MiMo-V2-Flashは新たなMulti-Teacher On-Policy Distillation（MOPD）パラダイムを導入します。このフレームワークでは、ドメイン特化した教師モデル（例えば大規模強化学習で訓練されたもの）が密なトークンレベルの報酬を提供し、学生モデルが教師の専門知識を完全に習得できるようにします。MiMo-V2-Flashは、DeepSeek-V3.2やKimi-K2といったトップクラスのオープンウェイトモデルと同等の性能を発揮しますが、総パラメータ数はそれぞれ1/2、1/3しか使用しません。推論時には、MTPを speculative decoding のためのドラフトモデルとして再利用することで、3層のMTPを用いて最大3.6の受理長と2.6倍のデコード速度向上を実現します。我々は、オープンな研究とコミュニティの協力を促進するため、モデル重みと3層MTPの重みの両方をオープンソースとして公開します。
English
We present MiMo-V2-Flash, a Mixture-of-Experts (MoE) model with 309B total parameters and 15B active parameters, designed for fast, strong reasoning and agentic capabilities. MiMo-V2-Flash adopts a hybrid attention architecture that interleaves Sliding Window Attention (SWA) with global attention, with a 128-token sliding window under a 5:1 hybrid ratio. The model is pre-trained on 27 trillion tokens with Multi-Token Prediction (MTP), employing a native 32k context length and subsequently extended to 256k. To efficiently scale post-training compute, MiMo-V2-Flash introduces a novel Multi-Teacher On-Policy Distillation (MOPD) paradigm. In this framework, domain-specialized teachers (e.g., trained via large-scale reinforcement learning) provide dense and token-level reward, enabling the student model to perfectly master teacher expertise. MiMo-V2-Flash rivals top-tier open-weight models such as DeepSeek-V3.2 and Kimi-K2, despite using only 1/2 and 1/3 of their total parameters, respectively. During inference, by repurposing MTP as a draft model for speculative decoding, MiMo-V2-Flash achieves up to 3.6 acceptance length and 2.6x decoding speedup with three MTP layers. We open-source both the model weights and the three-layer MTP weights to foster open research and community collaboration.