Technischer Bericht zu Trillion 7B

Trillion 7B Technical Report

April 21, 2025

Autoren: Sungjun Han, Juyoung Suk, Suyeong An, Hyungguk Kim, Kyuseok Kim, Wonsuk Yang, Seungtaek Choi, Jamin Shin

cs.AI

Zusammenfassung

Wir stellen Trillion-7B vor, das token-effizienteste Koreanisch-zentrierte mehrsprachige LLM, das derzeit verfügbar ist. Unser neuartiger Cross-lingual Document Attention (XLDA)-Mechanismus ermöglicht einen hocheffizienten und effektiven Wissenstransfer vom Englischen in Zielsprachen wie Koreanisch und Japanisch. In Kombination mit optimierten Datenmischungen, sprachspezifischer Filterung und maßgeschneiderter Tokenizer-Konstruktion erreicht Trillion-7B eine wettbewerbsfähige Leistung, wobei nur 10\% seiner 2T Trainings-Token für mehrsprachige Daten verwendet werden und lediglich 59,4K H100 GPU-Stunden (\$148K) für das vollständige Training erforderlich sind. Umfassende Bewertungen über 27 Benchmarks in vier Sprachen demonstrieren die robuste mehrsprachige Leistung und die außergewöhnliche cross-linguale Konsistenz von Trillion-7B.

English

We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.