Aria: Ein offenes multimodales natives Modell mit Mischung von Experten

Aria: An Open Multimodal Native Mixture-of-Experts Model

October 8, 2024

Autoren: Dongxu Li, Yudong Liu, Haoning Wu, Yue Wang, Zhiqi Shen, Bowen Qu, Xinyao Niu, Guoyin Wang, Bei Chen, Junnan Li

cs.AI

Zusammenfassung

Informationen kommen in verschiedenen Modalitäten. Multimodale native KI-Modelle sind entscheidend, um Informationen aus der realen Welt zu integrieren und ein umfassendes Verständnis zu vermitteln. Obwohl proprietäre multimodale native Modelle existieren, stellen ihre mangelnde Offenheit Hindernisse für die Übernahme, geschweige denn Anpassung, dar. Um diese Lücke zu schließen, stellen wir Aria vor, ein offenes multimodales natives Modell mit erstklassiger Leistung in einer Vielzahl von multimodalen, sprachlichen und kodierenden Aufgaben. Aria ist ein Mixture-of-Expert-Modell mit 3,9 Mrd. und 3,5 Mrd. aktivierten Parametern pro visuellem Token und Texttoken. Es übertrifft Pixtral-12B und Llama3.2-11B und ist wettbewerbsfähig gegenüber den besten proprietären Modellen in verschiedenen multimodalen Aufgaben. Wir trainieren Aria von Grund auf neu in einem 4-stufigen Prozess, der das Modell schrittweise mit starken Fähigkeiten in der Sprach- und multimodalen Verarbeitung, einem langen Kontextfenster und der Befolgung von Anweisungen ausstattet. Wir stellen die Modellgewichte als Open Source zur Verfügung, zusammen mit einem Code-Framework, das eine einfache Übernahme und Anpassung von Aria in Anwendungen der realen Welt ermöglicht.

English

Information comes in diverse modalities. Multimodal native AI models are essential to integrate real-world information and deliver comprehensive understanding. While proprietary multimodal native models exist, their lack of openness imposes obstacles for adoptions, let alone adaptations. To fill this gap, we introduce Aria, an open multimodal native model with best-in-class performance across a wide range of multimodal, language, and coding tasks. Aria is a mixture-of-expert model with 3.9B and 3.5B activated parameters per visual token and text token, respectively. It outperforms Pixtral-12B and Llama3.2-11B, and is competitive against the best proprietary models on various multimodal tasks. We pre-train Aria from scratch following a 4-stage pipeline, which progressively equips the model with strong capabilities in language understanding, multimodal understanding, long context window, and instruction following. We open-source the model weights along with a codebase that facilitates easy adoptions and adaptations of Aria in real-world applications.