Aria: открытая мультимодальная модель на базе смеси экспертов

Aria: An Open Multimodal Native Mixture-of-Experts Model

October 8, 2024

Авторы: Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li

cs.AI

Аннотация

Информация поступает в различных модальностях. Мультимодальные нативные модели искусственного интеллекта необходимы для интеграции информации из реального мира и достижения всестороннего понимания. Хотя существуют проприетарные мультимодальные нативные модели, их закрытость создает препятствия для принятия, не говоря уже об адаптациях. Для заполнения этого пробела мы представляем Aria - открытую мультимодальную нативную модель с лучшей производительностью в широком спектре мультимодальных, языковых и кодировочных задач. Aria - модель смеси экспертов с 3,9 миллиарда и 3,5 миллиарда активированных параметров на визуальный токен и текстовый токен соответственно. Она превосходит Pixtral-12B и Llama3.2-11B, и конкурентоспособна по сравнению с лучшими проприетарными моделями в различных мультимодальных задачах. Мы предварительно обучаем Aria с нуля, следуя 4-ступенчатому пайплайну, который поэтапно дарит модели сильные возможности в понимании языка, мультимодальном понимании, длинном окне контекста и следовании инструкциям. Мы открываем веса модели в открытом доступе вместе с кодовой базой, которая облегчает принятие и адаптацию Aria в прикладных задачах реального мира.

English

Information comes in diverse modalities. Multimodal native AI models are essential to integrate real-world information and deliver comprehensive understanding. While proprietary multimodal native models exist, their lack of openness imposes obstacles for adoptions, let alone adaptations. To fill this gap, we introduce Aria, an open multimodal native model with best-in-class performance across a wide range of multimodal, language, and coding tasks. Aria is a mixture-of-expert model with 3.9B and 3.5B activated parameters per visual token and text token, respectively. It outperforms Pixtral-12B and Llama3.2-11B, and is competitive against the best proprietary models on various multimodal tasks. We pre-train Aria from scratch following a 4-stage pipeline, which progressively equips the model with strong capabilities in language understanding, multimodal understanding, long context window, and instruction following. We open-source the model weights along with a codebase that facilitates easy adoptions and adaptations of Aria in real-world applications.