Phi-4-Mini技術レポート：Mixture-of-LoRAsによるコンパクトで強力なマルチモーダル言語モデル

Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs

March 3, 2025

著者: Abdelrahman Abouelenin, Atabak Ashfaq, Adam Atkinson, Hany Awadalla, Nguyen Bach, Jianmin Bao, Alon Benhaim, Martin Cai, Vishrav Chaudhary, Congcong Chen, Dong Chen, Dongdong Chen, Junkun Chen, Weizhu Chen, Yen-Chun Chen, Yi-ling Chen, Qi Dai, Xiyang Dai, Ruchao Fan, Mei Gao, Min Gao, Amit Garg, Abhishek Goswami, Junheng Hao, Amr Hendy, Yuxuan Hu, Xin Jin, Mahmoud Khademi, Dongwoo Kim, Young Jin Kim, Gina Lee, Jinyu Li, Yunsheng Li, Chen Liang, Xihui Lin, Zeqi Lin, Mengchen Liu, Yang Liu, Gilsinia Lopez, Chong Luo, Piyush Madan, Vadim Mazalov, Ali Mousavi, Anh Nguyen, Jing Pan, Daniel Perez-Becker, Jacob Platin, Thomas Portet, Kai Qiu, Bo Ren, Liliang Ren, Sambuddha Roy, Ning Shang, Yelong Shen, Saksham Singhal, Subhojit Som, Xia Song, Tetyana Sych, Praneetha Vaddamanu, Shuohang Wang, Yiming Wang, Zhenghao Wang, Haibin Wu, Haoran Xu, Weijian Xu, Yifan Yang, Ziyi Yang, Donghan Yu, Ishmam Zabir, Jianwen Zhang, Li Lyna Zhang, Yunan Zhang, Xiren Zhou

cs.AI

要旨

Phi-4-MiniとPhi-4-Multimodalを紹介します。これらはコンパクトでありながら高い能力を備えた言語モデルとマルチモーダルモデルです。Phi-4-Miniは、高品質なウェブデータと合成データでトレーニングされた38億パラメータの言語モデルで、複雑な推論を必要とする数学やコーディングタスクにおいて、類似サイズの最近のオープンソースモデルを大幅に上回り、その2倍のサイズのモデルと同等の性能を発揮します。この成果は、高品質な数学とコーディングデータセットを重視した慎重に選ばれた合成データレシピによってもたらされています。前身のPhi-3.5-Miniと比較して、Phi-4-Miniは多言語アプリケーションをより良くサポートするために20万トークンの拡張された語彙サイズを特徴とし、また、長いシーケンス生成をより効率的にするためのグループクエリアテンションを備えています。Phi-4-Multimodalは、テキスト、視覚、音声/オーディオの入力モダリティを単一のモデルに統合したマルチモーダルモデルです。その新しいモダリティ拡張アプローチは、LoRAアダプターとモダリティ固有のルーターを活用して、さまざまなモダリティを干渉なく組み合わせた複数の推論モードを可能にします。例えば、音声/オーディオモダリティのLoRAコンポーネントがわずか4億6000万パラメータであるにもかかわらず、現在OpenASRリーダーボードで首位を獲得しています。Phi-4-Multimodalは、（視覚＋言語）、（視覚＋音声）、および（音声/オーディオ）入力を含むシナリオをサポートし、幅広いタスクにおいてより大きな視覚言語モデルや音声言語モデルを上回ります。さらに、Phi-4-Miniの推論能力を向上させるために、追加のトレーニング実験を行いました。この実験バージョンは、コンパクトな38億パラメータのサイズにもかかわらず、DeepSeek-R1-Distill-Qwen-7BやDeepSeek-R1-Distill-Llama-8Bを含む、はるかに大きなモデルと同等またはそれ以上の推論性能を達成しています。

English

We introduce Phi-4-Mini and Phi-4-Multimodal, compact yet highly capable language and multimodal models. Phi-4-Mini is a 3.8-billion-parameter language model trained on high-quality web and synthetic data, significantly outperforming recent open-source models of similar size and matching the performance of models twice its size on math and coding tasks requiring complex reasoning. This achievement is driven by a carefully curated synthetic data recipe emphasizing high-quality math and coding datasets. Compared to its predecessor, Phi-3.5-Mini, Phi-4-Mini features an expanded vocabulary size of 200K tokens to better support multilingual applications, as well as group query attention for more efficient long-sequence generation. Phi-4-Multimodal is a multimodal model that integrates text, vision, and speech/audio input modalities into a single model. Its novel modality extension approach leverages LoRA adapters and modality-specific routers to allow multiple inference modes combining various modalities without interference. For example, it now ranks first in the OpenASR leaderboard to date, although the LoRA component of the speech/audio modality has just 460 million parameters. Phi-4-Multimodal supports scenarios involving (vision + language), (vision + speech), and (speech/audio) inputs, outperforming larger vision-language and speech-language models on a wide range of tasks. Additionally, we experiment to further train Phi-4-Mini to enhance its reasoning capabilities. Despite its compact 3.8-billion-parameter size, this experimental version achieves reasoning performance on par with or surpassing significantly larger models, including DeepSeek-R1-Distill-Qwen-7B and DeepSeek-R1-Distill-Llama-8B.