Relatório Técnico do Trillion 7B

Trillion 7B Technical Report

April 21, 2025

Autores: Sungjun Han, Juyoung Suk, Suyeong An, Hyungguk Kim, Kyuseok Kim, Wonsuk Yang, Seungtaek Choi, Jamin Shin

cs.AI

Resumo

Apresentamos o Trillion-7B, o modelo de linguagem multilingue (LLM) centrado no coreano mais eficiente em termos de tokens disponível. Nosso novo mecanismo de Atenção a Documentos Translingual (XLDA) permite uma transferência de conhecimento altamente eficiente e eficaz do inglês para idiomas-alvo como coreano e japonês. Combinado com misturas de dados otimizadas, filtragem específica por idioma e construção de tokenizadores personalizados, o Trillion-7B alcança desempenho competitivo enquanto dedica apenas 10\% de seus 2 trilhões de tokens de treinamento a dados multilingues e requer apenas 59,4 mil horas de GPU H100 (\$148 mil) para o treinamento completo. Avaliações abrangentes em 27 benchmarks em quatro idiomas demonstram o robusto desempenho multilingue e a excepcional consistência translingual do Trillion-7B.

English

We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.