Tiny Aya : Relier l'échelle et la profondeur multilingue
Tiny Aya: Bridging Scale and Multilingual Depth
March 12, 2026
Auteurs: Alejandro R. Salamanca, Diana Abagyan, Daniel D'souza, Ammar Khairi, David Mora, Saurabh Dash, Viraat Aryabumi, Sara Rajaee, Mehrnaz Mofakhami, Ananya Sahu, Thomas Euyang, Brittawnya Prince, Madeline Smith, Hangyu Lin, Acyr Locatelli, Sara Hooker, Tom Kocmi, Aidan Gomez, Ivan Zhang, Phil Blunsom, Nick Frosst, Joelle Pineau, Beyza Ermis, Ahmet Üstün, Julia Kreutzer, Marzieh Fadaee
cs.AI
Résumé
Tiny Aya redéfinit les capacités des petits modèles de langage multilingues. Entraîné sur 70 langues et affiné par un post-entraînement tenant compte des régions, il offre une qualité de traduction de pointe, une solide compréhension multilingue et une génération de haute qualité en langue cible, le tout avec seulement 3,35 milliards de paramètres. Cette publication inclut un modèle de base pré-entraîné, une variante ajustée aux instructions et équilibrée mondialement, ainsi que trois modèles spécialisés par région ciblant les langues d'Afrique, d'Asie du Sud, d'Europe, d'Asie-Pacifique et d'Asie occidentale. Ce rapport détaille la stratégie d'entraînement, la composition des données et le cadre d'évaluation complet de Tiny Aya, et propose une alternative à la course à l'échelle pour l'IA multilingue : une approche axée sur l'efficacité, des performances équilibrées entre les langues et un déploiement pratique.
English
Tiny Aya redefines what a small multilingual language model can achieve. Trained on 70 languages and refined through region-aware posttraining, it delivers state-of-the-art in translation quality, strong multilingual understanding, and high-quality target-language generation, all with just 3.35B parameters. The release includes a pretrained foundation model, a globally balanced instruction-tuned variant, and three region-specialized models targeting languages from Africa, South Asia, Europe, Asia-Pacific, and West Asia. This report details the training strategy, data composition, and comprehensive evaluation framework behind Tiny Aya, and presents an alternative scaling path for multilingual AI: one centered on efficiency, balanced performance across languages, and practical deployment.