Технический отчет Trillion 7B

Trillion 7B Technical Report

April 21, 2025

Авторы: Sungjun Han, Juyoung Suk, Suyeong An, Hyungguk Kim, Kyuseok Kim, Wonsuk Yang, Seungtaek Choi, Jamin Shin

cs.AI

Аннотация

Мы представляем Trillion-7B — наиболее эффективную по использованию токенов корейско-ориентированную многоязычную языковую модель (LLM). Наш новый механизм Cross-lingual Document Attention (XLDA) обеспечивает высокоэффективный и результативный перенос знаний с английского на целевые языки, такие как корейский и японский. В сочетании с оптимизированными смесями данных, языковой фильтрацией и адаптированным построением токенизатора, Trillion-7B демонстрирует конкурентоспособную производительность, выделяя всего 10\% из 2 триллионов токенов обучения на многоязычные данные и требуя лишь 59,4 тыс. часов работы GPU H100 (\$148 тыс.) для полного обучения. Комплексные оценки на 27 бенчмарках для четырёх языков подтверждают устойчивую многоязычную производительность и исключительную кросс-языковую согласованность модели Trillion-7B.

English

We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.