작은 아야: 규모와 다국어 심층성의 간극을 메우다

초록

Tiny Aya는 소형 다국어 언어 모델이 달성할 수 있는 성능의 기준을 재정의합니다. 70개 언어로 학습되고 지역 인식 사후 훈련을 통해 정제된 이 모델은 단 35억 개의 매개변수만으로도 최고 수준의 번역 품질, 강력한 다국어 이해 능력, 그리고 높은 품질의 대상 언어 생성을 제공합니다. 이번 공개에는 사전 훈련된 기초 모델, 전역적으로 균형 잡힌 지시 튜닝 변형 모델, 그리고 아프리카, 남아시아, 유럽, 아시아-태평양, 서아시아 언어를 대상으로 하는 세 가지 지역 특화 모델이 포함됩니다. 본 보고서는 Tiny Aya의 훈련 전략, 데이터 구성, 포괄적인 평가 체계를 상세히 설명하고, 효율성, 언어 간 균형 잡힌 성능, 실용적인 배포에 중점을 둔 다국어 AI를 위한 대안적인 확장 경로를 제시합니다.

English

Tiny Aya redefines what a small multilingual language model can achieve. Trained on 70 languages and refined through region-aware posttraining, it delivers state-of-the-art in translation quality, strong multilingual understanding, and high-quality target-language generation, all with just 3.35B parameters. The release includes a pretrained foundation model, a globally balanced instruction-tuned variant, and three region-specialized models targeting languages from Africa, South Asia, Europe, Asia-Pacific, and West Asia. This report details the training strategy, data composition, and comprehensive evaluation framework behind Tiny Aya, and presents an alternative scaling path for multilingual AI: one centered on efficiency, balanced performance across languages, and practical deployment.

작은 아야: 규모와 다국어 심층성의 간극을 메우다

Tiny Aya: Bridging Scale and Multilingual Depth

초록

Support