Aria : Un modèle ouvert de mélange d'experts natifs multimodal

Aria: An Open Multimodal Native Mixture-of-Experts Model

October 8, 2024

Auteurs: Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li

cs.AI

Résumé

Les informations proviennent de diverses modalités. Les modèles IA multimodaux natifs sont essentiels pour intégrer des informations du monde réel et fournir une compréhension globale. Bien que des modèles multimodaux natifs propriétaires existent, leur manque d'ouverture pose des obstacles à leur adoption, sans parler de leur adaptation. Pour combler ce vide, nous présentons Aria, un modèle natif multimodal ouvert offrant des performances de premier ordre sur une large gamme de tâches multimodales, linguistiques et de codage. Aria est un modèle de mélange d'experts avec 3,9 milliards et 3,5 milliards de paramètres activés par jeton visuel et jeton textuel, respectivement. Il surpasse Pixtral-12B et Llama3.2-11B, et est compétitif face aux meilleurs modèles propriétaires sur diverses tâches multimodales. Nous pré-entraînons Aria à partir de zéro en suivant un pipeline en 4 étapes, qui dote progressivement le modèle de solides capacités en compréhension du langage, compréhension multimodale, fenêtre de contexte longue et suivi des instructions. Nous mettons en open source les poids du modèle ainsi qu'une base de code facilitant l'adoption et l'adaptation aisées d'Aria dans des applications du monde réel.

English

Information comes in diverse modalities. Multimodal native AI models are essential to integrate real-world information and deliver comprehensive understanding. While proprietary multimodal native models exist, their lack of openness imposes obstacles for adoptions, let alone adaptations. To fill this gap, we introduce Aria, an open multimodal native model with best-in-class performance across a wide range of multimodal, language, and coding tasks. Aria is a mixture-of-expert model with 3.9B and 3.5B activated parameters per visual token and text token, respectively. It outperforms Pixtral-12B and Llama3.2-11B, and is competitive against the best proprietary models on various multimodal tasks. We pre-train Aria from scratch following a 4-stage pipeline, which progressively equips the model with strong capabilities in language understanding, multimodal understanding, long context window, and instruction following. We open-source the model weights along with a codebase that facilitates easy adoptions and adaptations of Aria in real-world applications.