Rapporto Tecnico Trillion 7B

Trillion 7B Technical Report

April 21, 2025

Autori: Sungjun Han, Juyoung Suk, Suyeong An, Hyungguk Kim, Kyuseok Kim, Wonsuk Yang, Seungtaek Choi, Jamin Shin

cs.AI

Abstract

Presentiamo Trillion-7B, il modello linguistico multilingue centrato sul coreano più efficiente in termini di token disponibile. Il nostro innovativo meccanismo di Cross-lingual Document Attention (XLDA) consente un trasferimento di conoscenze altamente efficiente ed efficace dall'inglese a lingue target come il coreano e il giapponese. Combinato con miscele di dati ottimizzate, filtraggio specifico per lingua e costruzione di tokenizer su misura, Trillion-7B raggiunge prestazioni competitive dedicando solo il 10\% dei suoi 2T token di addestramento a dati multilingue e richiedendo appena 59.4K ore di GPU H100 (\$148K) per l'addestramento completo. Valutazioni approfondite su 27 benchmark in quattro lingue dimostrano le solide prestazioni multilingue e l'eccezionale coerenza cross-linguale di Trillion-7B.

English

We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.