Aria: Un Modello Aperto Multimodale Nativo a Miscela di Esperti

Aria: An Open Multimodal Native Mixture-of-Experts Model

October 8, 2024

Autori: Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li

cs.AI

Abstract

Le informazioni arrivano in diverse modalità. I modelli AI nativi multimodali sono essenziali per integrare informazioni del mondo reale e fornire una comprensione completa. Sebbene esistano modelli nativi multimodali proprietari, la loro mancanza di apertura impone ostacoli all'adozione, figuriamoci all'adattamento. Per colmare questa lacuna, presentiamo Aria, un modello nativo multimodale aperto con prestazioni di primo livello su un'ampia gamma di compiti multimodali, linguistici e di codifica. Aria è un modello a miscela di esperti con 3,9 miliardi e 3,5 miliardi di parametri attivati per token visivo e token di testo, rispettivamente. Supera Pixtral-12B e Llama3.2-11B ed è competitivo rispetto ai migliori modelli proprietari su vari compiti multimodali. Pre-alleniamo Aria da zero seguendo un pipeline a 4 fasi, che progressivamente dota il modello di forti capacità nella comprensione del linguaggio, nella comprensione multimodale, nella finestra di contesto lunga e nel seguire le istruzioni. Mettiamo a disposizione i pesi del modello insieme a una base di codice che facilita l'adozione e l'adattamento di Aria in applicazioni del mondo reale.

English

Information comes in diverse modalities. Multimodal native AI models are essential to integrate real-world information and deliver comprehensive understanding. While proprietary multimodal native models exist, their lack of openness imposes obstacles for adoptions, let alone adaptations. To fill this gap, we introduce Aria, an open multimodal native model with best-in-class performance across a wide range of multimodal, language, and coding tasks. Aria is a mixture-of-expert model with 3.9B and 3.5B activated parameters per visual token and text token, respectively. It outperforms Pixtral-12B and Llama3.2-11B, and is competitive against the best proprietary models on various multimodal tasks. We pre-train Aria from scratch following a 4-stage pipeline, which progressively equips the model with strong capabilities in language understanding, multimodal understanding, long context window, and instruction following. We open-source the model weights along with a codebase that facilitates easy adoptions and adaptations of Aria in real-world applications.