Aria: Um Modelo Aberto de Misto de Especialistas Multimodal Nativo

Aria: An Open Multimodal Native Mixture-of-Experts Model

October 8, 2024

Autores: Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li

cs.AI

Resumo

As informações chegam em diversas modalidades. Modelos nativos multimodais de IA são essenciais para integrar informações do mundo real e fornecer uma compreensão abrangente. Embora existam modelos nativos multimodais proprietários, a falta de transparência impõe obstáculos para adoções, quanto mais para adaptações. Para preencher essa lacuna, apresentamos Aria, um modelo nativo multimodal aberto com desempenho de ponta em uma ampla gama de tarefas multimodais, linguísticas e de codificação. Aria é um modelo misto de especialistas com 3,9 bilhões e 3,5 bilhões de parâmetros ativados por token visual e token de texto, respectivamente. Ele supera o Pixtral-12B e o Llama3.2-11B, e é competitivo em relação aos melhores modelos proprietários em várias tarefas multimodais. Pré-treinamos Aria do zero seguindo um pipeline de 4 estágios, que equipa progressivamente o modelo com fortes capacidades em compreensão de linguagem, compreensão multimodal, janela de contexto longa e seguimento de instruções. Disponibilizamos os pesos do modelo em código aberto juntamente com uma base de código que facilita a adoção e adaptação fácil de Aria em aplicações do mundo real.

English

Information comes in diverse modalities. Multimodal native AI models are essential to integrate real-world information and deliver comprehensive understanding. While proprietary multimodal native models exist, their lack of openness imposes obstacles for adoptions, let alone adaptations. To fill this gap, we introduce Aria, an open multimodal native model with best-in-class performance across a wide range of multimodal, language, and coding tasks. Aria is a mixture-of-expert model with 3.9B and 3.5B activated parameters per visual token and text token, respectively. It outperforms Pixtral-12B and Llama3.2-11B, and is competitive against the best proprietary models on various multimodal tasks. We pre-train Aria from scratch following a 4-stage pipeline, which progressively equips the model with strong capabilities in language understanding, multimodal understanding, long context window, and instruction following. We open-source the model weights along with a codebase that facilitates easy adoptions and adaptations of Aria in real-world applications.