Aya Vision: Het Verleggen van de Grenzen van Meertalige Multimodaliteit

Aya Vision: Advancing the Frontier of Multilingual Multimodality

May 13, 2025

Auteurs: Saurabh Dash, Yiyang Nan, John Dang, Arash Ahmadian, Shivalika Singh, Madeline Smith, Bharat Venkitesh, Vlad Shmyhlo, Viraat Aryabumi, Walter Beller-Morales, Jeremy Pekmez, Jason Ozuzu, Pierre Richemond, Acyr Locatelli, Nick Frosst, Phil Blunsom, Aidan Gomez, Ivan Zhang, Marzieh Fadaee, Manoj Govindassamy, Sudip Roy, Matthias Gallé, Beyza Ermis, Ahmet Üstün, Sara Hooker

cs.AI

Samenvatting

Het bouwen van multimodale taalmodellen is fundamenteel uitdagend: het vereist het afstemmen van visuele en taalkundige modaliteiten, het samenstellen van hoogwaardige instructiedata, en het voorkomen van achteruitgang van bestaande tekstgerichte mogelijkheden zodra visie wordt geïntroduceerd. Deze moeilijkheden worden verder vergroot in de meertalige context, waar de behoefte aan multimodale data in verschillende talen bestaande dataschaarste verergert, machinevertaling vaak de betekenis vervormt, en catastrofale vergetelheid meer uitgesproken is. Om de bovengenoemde uitdagingen aan te pakken, introduceren we nieuwe technieken die zowel data als modellering omvatten. Ten eerste ontwikkelen we een synthetisch annotatieraamwerk dat hoogwaardige, diverse meertalige multimodale instructiedata samenstelt, waardoor Aya Vision-modellen natuurlijke, door mensen geprefereerde reacties kunnen produceren op multimodale inputs in vele talen. Hieraan aanvullend stellen we een cross-modale modelmergingtechniek voor die catastrofale vergetelheid vermindert, waardoor tekstgerichte mogelijkheden effectief behouden blijven terwijl tegelijkertijd de multimodale generatieve prestaties worden verbeterd. Aya-Vision-8B behaalt de beste prestaties in zijn klasse in vergelijking met sterke multimodale modellen zoals Qwen-2.5-VL-7B, Pixtral-12B, en zelfs veel grotere modellen zoals Llama-3.2-90B-Vision. We schalen deze aanpak verder op met Aya-Vision-32B, dat modellen overtreft die meer dan twee keer zo groot zijn, zoals Molmo-72B en LLaMA-3.2-90B-Vision. Ons werk bevordert de meertalige vooruitgang op het multimodale front en biedt inzichten in technieken die effectief de behoefte aan rekenkracht verminderen terwijl ze uitzonderlijk hoge prestaties leveren.

English

Building multimodal language models is fundamentally challenging: it requires aligning vision and language modalities, curating high-quality instruction data, and avoiding the degradation of existing text-only capabilities once vision is introduced. These difficulties are further magnified in the multilingual setting, where the need for multimodal data in different languages exacerbates existing data scarcity, machine translation often distorts meaning, and catastrophic forgetting is more pronounced. To address the aforementioned challenges, we introduce novel techniques spanning both data and modeling. First, we develop a synthetic annotation framework that curates high-quality, diverse multilingual multimodal instruction data, enabling Aya Vision models to produce natural, human-preferred responses to multimodal inputs across many languages. Complementing this, we propose a cross-modal model merging technique that mitigates catastrophic forgetting, effectively preserving text-only capabilities while simultaneously enhancing multimodal generative performance. Aya-Vision-8B achieves best-in-class performance compared to strong multimodal models such as Qwen-2.5-VL-7B, Pixtral-12B, and even much larger Llama-3.2-90B-Vision. We further scale this approach with Aya-Vision-32B, which outperforms models more than twice its size, such as Molmo-72B and LLaMA-3.2-90B-Vision. Our work advances multilingual progress on the multi-modal frontier, and provides insights into techniques that effectively bend the need for compute while delivering extremely high performance.