Miniature Aya: Een brug slaan tussen schaal en meertalige diepgang
Tiny Aya: Bridging Scale and Multilingual Depth
March 12, 2026
Auteurs: Alejandro R. Salamanca, Diana Abagyan, Daniel D'souza, Ammar Khairi, David Mora, Saurabh Dash, Viraat Aryabumi, Sara Rajaee, Mehrnaz Mofakhami, Ananya Sahu, Thomas Euyang, Brittawnya Prince, Madeline Smith, Hangyu Lin, Acyr Locatelli, Sara Hooker, Tom Kocmi, Aidan Gomez, Ivan Zhang, Phil Blunsom, Nick Frosst, Joelle Pineau, Beyza Ermis, Ahmet Üstün, Julia Kreutzer, Marzieh Fadaee
cs.AI
Samenvatting
Tiny Aya herdefinieert wat een klein meertalig taalmodel kan bereiken. Het model, getraind op 70 talen en verfijnd door regiobewuste natreining, levert state-of-the-art vertaalkwaliteit, een sterk meertalig begrip en hoogwaardige generatie in doeltalen, alles met slechts 3,35 miljard parameters. De release omvat een voorgetraind foundation-model, een globaal gebalanceerde instructie-afgestemde variant en drie regio-gespecialiseerde modellen gericht op talen uit Afrika, Zuid-Azië, Europa, Azië-Pacific en West-Azië. Dit rapport beschrijft in detail de trainingsstrategie, datasamenstelling en het uitgebreide evaluatiekader achter Tiny Aya, en presenteert een alternatieve schaalbaarheidsaanpak voor meertalige AI: een aanpak gericht op efficiëntie, gebalanceerde prestaties across talen en praktische inzetbaarheid.
English
Tiny Aya redefines what a small multilingual language model can achieve. Trained on 70 languages and refined through region-aware posttraining, it delivers state-of-the-art in translation quality, strong multilingual understanding, and high-quality target-language generation, all with just 3.35B parameters. The release includes a pretrained foundation model, a globally balanced instruction-tuned variant, and three region-specialized models targeting languages from Africa, South Asia, Europe, Asia-Pacific, and West Asia. This report details the training strategy, data composition, and comprehensive evaluation framework behind Tiny Aya, and presents an alternative scaling path for multilingual AI: one centered on efficiency, balanced performance across languages, and practical deployment.