Aria: Un Modelo Abierto de Mezcla de Expertos Nativos Multimodal

Aria: An Open Multimodal Native Mixture-of-Experts Model

October 8, 2024

Autores: Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li

cs.AI

Resumen

La información se presenta en diversas modalidades. Los modelos nativos multimodales de IA son esenciales para integrar información del mundo real y proporcionar una comprensión integral. Aunque existen modelos nativos multimodales propietarios, su falta de apertura impone obstáculos para su adopción, y mucho menos para su adaptación. Para llenar este vacío, presentamos Aria, un modelo nativo multimodal abierto con un rendimiento de primer nivel en una amplia gama de tareas multimodales, de lenguaje y de codificación. Aria es un modelo de mezcla de expertos con 3.9B y 3.5B parámetros activados por token visual y token de texto, respectivamente. Supera a Pixtral-12B y Llama3.2-11B, y compite con los mejores modelos propietarios en diversas tareas multimodales. Pre-entrenamos Aria desde cero siguiendo un pipeline de 4 etapas, que dota progresivamente al modelo con sólidas capacidades en comprensión del lenguaje, comprensión multimodal, ventana de contexto larga y seguimiento de instrucciones. Publicamos los pesos del modelo junto con un código base que facilita la adopción y adaptación de Aria en aplicaciones del mundo real.

English

Information comes in diverse modalities. Multimodal native AI models are essential to integrate real-world information and deliver comprehensive understanding. While proprietary multimodal native models exist, their lack of openness imposes obstacles for adoptions, let alone adaptations. To fill this gap, we introduce Aria, an open multimodal native model with best-in-class performance across a wide range of multimodal, language, and coding tasks. Aria is a mixture-of-expert model with 3.9B and 3.5B activated parameters per visual token and text token, respectively. It outperforms Pixtral-12B and Llama3.2-11B, and is competitive against the best proprietary models on various multimodal tasks. We pre-train Aria from scratch following a 4-stage pipeline, which progressively equips the model with strong capabilities in language understanding, multimodal understanding, long context window, and instruction following. We open-source the model weights along with a codebase that facilitates easy adoptions and adaptations of Aria in real-world applications.