Rapport technique Phi-4-Mini : Des modèles de langage multimodaux compacts mais puissants grâce au mélange de LoRAs

Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs

March 3, 2025

Auteurs: Abdelrahman Abouelenin, Atabak Ashfaq, Adam Atkinson, Hany Awadalla, Nguyen Bach, Jianmin Bao, Alon Benhaim, Martin Cai, Vishrav Chaudhary, Congcong Chen, Dong Chen, Dongdong Chen, Junkun Chen, Weizhu Chen, Yen-Chun Chen, Yi-ling Chen, Qi Dai, Xiyang Dai, Ruchao Fan, Mei Gao, Min Gao, Amit Garg, Abhishek Goswami, Junheng Hao, Amr Hendy, Yuxuan Hu, Xin Jin, Mahmoud Khademi, Dongwoo Kim, Young Jin Kim, Gina Lee, Jinyu Li, Yunsheng Li, Chen Liang, Xihui Lin, Zeqi Lin, Mengchen Liu, Yang Liu, Gilsinia Lopez, Chong Luo, Piyush Madan, Vadim Mazalov, Ali Mousavi, Anh Nguyen, Jing Pan, Daniel Perez-Becker, Jacob Platin, Thomas Portet, Kai Qiu, Bo Ren, Liliang Ren, Sambuddha Roy, Ning Shang, Yelong Shen, Saksham Singhal, Subhojit Som, Xia Song, Tetyana Sych, Praneetha Vaddamanu, Shuohang Wang, Yiming Wang, Zhenghao Wang, Haibin Wu, Haoran Xu, Weijian Xu, Yifan Yang, Ziyi Yang, Donghan Yu, Ishmam Zabir, Jianwen Zhang, Li Lyna Zhang, Yunan Zhang, Xiren Zhou

cs.AI

Résumé

Nous présentons Phi-4-Mini et Phi-4-Multimodal, des modèles de langage et multimodaux compacts mais hautement performants. Phi-4-Mini est un modèle de langage de 3,8 milliards de paramètres entraîné sur des données web de haute qualité et des données synthétiques, surpassant significativement les modèles open-source récents de taille similaire et égalant les performances de modèles deux fois plus grands sur des tâches de mathématiques et de codage nécessitant un raisonnement complexe. Cette performance est rendue possible grâce à une recette de données synthétiques soigneusement élaborée, mettant l'accent sur des ensembles de données de haute qualité en mathématiques et en codage. Par rapport à son prédécesseur, Phi-3.5-Mini, Phi-4-Mini dispose d'une taille de vocabulaire étendue à 200 000 tokens pour mieux supporter les applications multilingues, ainsi que d'une attention par groupe de requêtes (group query attention) pour une génération de séquences longues plus efficace. Phi-4-Multimodal est un modèle multimodal qui intègre les modalités de texte, vision et parole/audio dans un seul modèle. Son approche novatrice d'extension de modalités exploite des adaptateurs LoRA et des routeurs spécifiques à chaque modalité pour permettre plusieurs modes d'inférence combinant diverses modalités sans interférence. Par exemple, il occupe désormais la première place du classement OpenASR à ce jour, bien que le composant LoRA de la modalité parole/audio ne compte que 460 millions de paramètres. Phi-4-Multimodal prend en charge des scénarios impliquant des entrées (vision + langage), (vision + parole) et (parole/audio), surpassant des modèles vision-langage et parole-langage plus grands sur une large gamme de tâches. De plus, nous expérimentons un entraînement supplémentaire de Phi-4-Mini pour améliorer ses capacités de raisonnement. Malgré sa taille compacte de 3,8 milliards de paramètres, cette version expérimentale atteint des performances de raisonnement comparables ou supérieures à des modèles nettement plus grands, notamment DeepSeek-R1-Distill-Qwen-7B et DeepSeek-R1-Distill-Llama-8B.

English

We introduce Phi-4-Mini and Phi-4-Multimodal, compact yet highly capable language and multimodal models. Phi-4-Mini is a 3.8-billion-parameter language model trained on high-quality web and synthetic data, significantly outperforming recent open-source models of similar size and matching the performance of models twice its size on math and coding tasks requiring complex reasoning. This achievement is driven by a carefully curated synthetic data recipe emphasizing high-quality math and coding datasets. Compared to its predecessor, Phi-3.5-Mini, Phi-4-Mini features an expanded vocabulary size of 200K tokens to better support multilingual applications, as well as group query attention for more efficient long-sequence generation. Phi-4-Multimodal is a multimodal model that integrates text, vision, and speech/audio input modalities into a single model. Its novel modality extension approach leverages LoRA adapters and modality-specific routers to allow multiple inference modes combining various modalities without interference. For example, it now ranks first in the OpenASR leaderboard to date, although the LoRA component of the speech/audio modality has just 460 million parameters. Phi-4-Multimodal supports scenarios involving (vision + language), (vision + speech), and (speech/audio) inputs, outperforming larger vision-language and speech-language models on a wide range of tasks. Additionally, we experiment to further train Phi-4-Mini to enhance its reasoning capabilities. Despite its compact 3.8-billion-parameter size, this experimental version achieves reasoning performance on par with or surpassing significantly larger models, including DeepSeek-R1-Distill-Qwen-7B and DeepSeek-R1-Distill-Llama-8B.