Trillion 7B 技術レポート

Trillion 7B Technical Report

April 21, 2025

著者: Sungjun Han, Juyoung Suk, Suyeong An, Hyungguk Kim, Kyuseok Kim, Wonsuk Yang, Seungtaek Choi, Jamin Shin

cs.AI

要旨

私たちは、最もトークン効率の高い韓国語中心の多言語LLM「Trillion-7B」を紹介します。新たに開発したCross-lingual Document Attention（XLDA）メカニズムにより、英語から韓国語や日本語などのターゲット言語への知識伝達が非常に効率的かつ効果的に実現されます。最適化されたデータ混合、言語固有のフィルタリング、そしてカスタマイズされたトークナイザー構築を組み合わせることで、Trillion-7Bは2兆のトレーニングトークンのうちわずか10％を多言語データに割り当て、完全なトレーニングに必要なH100 GPU時間は59.4K時間（\$148K）という競争力のあるパフォーマンスを達成しています。4言語にわたる27のベンチマークでの包括的な評価により、Trillion-7Bの堅牢な多言語性能と卓越した言語間一貫性が実証されています。

English

We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.