Informe Técnico de Phi-4-Mini: Modelos de Lenguaje Multimodales Compactos pero Potentes mediante Mezcla de LoRAs

Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs

March 3, 2025

Autores: Abdelrahman Abouelenin, Atabak Ashfaq, Adam Atkinson, Hany Awadalla, Nguyen Bach, Jianmin Bao, Alon Benhaim, Martin Cai, Vishrav Chaudhary, Congcong Chen, Dong Chen, Dongdong Chen, Junkun Chen, Weizhu Chen, Yen-Chun Chen, Yi-ling Chen, Qi Dai, Xiyang Dai, Ruchao Fan, Mei Gao, Min Gao, Amit Garg, Abhishek Goswami, Junheng Hao, Amr Hendy, Yuxuan Hu, Xin Jin, Mahmoud Khademi, Dongwoo Kim, Young Jin Kim, Gina Lee, Jinyu Li, Yunsheng Li, Chen Liang, Xihui Lin, Zeqi Lin, Mengchen Liu, Yang Liu, Gilsinia Lopez, Chong Luo, Piyush Madan, Vadim Mazalov, Ali Mousavi, Anh Nguyen, Jing Pan, Daniel Perez-Becker, Jacob Platin, Thomas Portet, Kai Qiu, Bo Ren, Liliang Ren, Sambuddha Roy, Ning Shang, Yelong Shen, Saksham Singhal, Subhojit Som, Xia Song, Tetyana Sych, Praneetha Vaddamanu, Shuohang Wang, Yiming Wang, Zhenghao Wang, Haibin Wu, Haoran Xu, Weijian Xu, Yifan Yang, Ziyi Yang, Donghan Yu, Ishmam Zabir, Jianwen Zhang, Li Lyna Zhang, Yunan Zhang, Xiren Zhou

cs.AI

Resumen

Presentamos Phi-4-Mini y Phi-4-Multimodal, modelos compactos pero altamente capaces en lenguaje y multimodalidad. Phi-4-Mini es un modelo de lenguaje de 3.800 millones de parámetros entrenado con datos web de alta calidad y datos sintéticos, superando significativamente a modelos recientes de código abierto de tamaño similar y equiparando el rendimiento de modelos del doble de su tamaño en tareas de matemáticas y programación que requieren razonamiento complejo. Este logro se debe a una receta cuidadosamente curada de datos sintéticos que enfatiza conjuntos de datos de alta calidad en matemáticas y programación. En comparación con su predecesor, Phi-3.5-Mini, Phi-4-Mini presenta un tamaño de vocabulario ampliado a 200.000 tokens para apoyar mejor aplicaciones multilingües, así como atención de consulta grupal para una generación más eficiente de secuencias largas. Phi-4-Multimodal es un modelo multimodal que integra modalidades de entrada de texto, visión y habla/audio en un solo modelo. Su novedoso enfoque de extensión de modalidades aprovecha adaptadores LoRA y enrutadores específicos por modalidad para permitir múltiples modos de inferencia que combinan varias modalidades sin interferencias. Por ejemplo, ahora ocupa el primer lugar en el ranking OpenASR hasta la fecha, aunque el componente LoRA de la modalidad de habla/audio tiene solo 460 millones de parámetros. Phi-4-Multimodal soporta escenarios que involucran entradas de (visión + lenguaje), (visión + habla) y (habla/audio), superando a modelos más grandes de visión-lenguaje y habla-lenguaje en una amplia gama de tareas. Además, experimentamos con un entrenamiento adicional de Phi-4-Mini para mejorar sus capacidades de razonamiento. A pesar de su tamaño compacto de 3.800 millones de parámetros, esta versión experimental logra un rendimiento de razonamiento comparable o superior a modelos significativamente más grandes, incluyendo DeepSeek-R1-Distill-Qwen-7B y DeepSeek-R1-Distill-Llama-8B.

English

We introduce Phi-4-Mini and Phi-4-Multimodal, compact yet highly capable language and multimodal models. Phi-4-Mini is a 3.8-billion-parameter language model trained on high-quality web and synthetic data, significantly outperforming recent open-source models of similar size and matching the performance of models twice its size on math and coding tasks requiring complex reasoning. This achievement is driven by a carefully curated synthetic data recipe emphasizing high-quality math and coding datasets. Compared to its predecessor, Phi-3.5-Mini, Phi-4-Mini features an expanded vocabulary size of 200K tokens to better support multilingual applications, as well as group query attention for more efficient long-sequence generation. Phi-4-Multimodal is a multimodal model that integrates text, vision, and speech/audio input modalities into a single model. Its novel modality extension approach leverages LoRA adapters and modality-specific routers to allow multiple inference modes combining various modalities without interference. For example, it now ranks first in the OpenASR leaderboard to date, although the LoRA component of the speech/audio modality has just 460 million parameters. Phi-4-Multimodal supports scenarios involving (vision + language), (vision + speech), and (speech/audio) inputs, outperforming larger vision-language and speech-language models on a wide range of tasks. Additionally, we experiment to further train Phi-4-Mini to enhance its reasoning capabilities. Despite its compact 3.8-billion-parameter size, this experimental version achieves reasoning performance on par with or surpassing significantly larger models, including DeepSeek-R1-Distill-Qwen-7B and DeepSeek-R1-Distill-Llama-8B.