Aria: Een Open Multimodaal Inheems Mengmodel van Experts

Aria: An Open Multimodal Native Mixture-of-Experts Model

October 8, 2024

Auteurs: Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li

cs.AI

Samenvatting

Informatie komt in diverse modaliteiten. Multimodale inheemse AI-modellen zijn essentieel om real-world informatie te integreren en een alomvattend begrip te bieden. Hoewel eigen multimodale inheemse modellen bestaan, legt hun gebrek aan openheid obstakels op voor adoptie, laat staan aanpassingen. Om deze lacune op te vullen, introduceren we Aria, een open multimodaal inheems model met eersteklas prestaties over een breed scala van multimodale, taal- en coderingstaken. Aria is een expertmodel met een mix van 3,9B en 3,5B geactiveerde parameters per visueel token en teksttoken, respectievelijk. Het presteert beter dan Pixtral-12B en Llama3.2-11B, en is concurrerend met de beste eigen modellen op verschillende multimodale taken. We trainen Aria vanaf nul volgens een 4-fasen-pijplijn, die het model geleidelijk voorziet van sterke capaciteiten in taalbegrip, multimodaal begrip, lange contextvensters en instructieopvolging. We stellen de modelgewichten open-source beschikbaar samen met een codebase die het gemakkelijk maakt om Aria aan te nemen en aan te passen in real-world toepassingen.

English

Information comes in diverse modalities. Multimodal native AI models are essential to integrate real-world information and deliver comprehensive understanding. While proprietary multimodal native models exist, their lack of openness imposes obstacles for adoptions, let alone adaptations. To fill this gap, we introduce Aria, an open multimodal native model with best-in-class performance across a wide range of multimodal, language, and coding tasks. Aria is a mixture-of-expert model with 3.9B and 3.5B activated parameters per visual token and text token, respectively. It outperforms Pixtral-12B and Llama3.2-11B, and is competitive against the best proprietary models on various multimodal tasks. We pre-train Aria from scratch following a 4-stage pipeline, which progressively equips the model with strong capabilities in language understanding, multimodal understanding, long context window, and instruction following. We open-source the model weights along with a codebase that facilitates easy adoptions and adaptations of Aria in real-world applications.