Chinese Tiny LLM: Preentrenamiento de un Modelo de Lenguaje Grande Centrado en el Chino
Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model
April 5, 2024
Autores: Xinrun Du, Zhouliang Yu, Songyang Gao, Ding Pan, Yuyang Cheng, Ziyang Ma, Ruibin Yuan, Xingwei Qu, Jiaheng Liu, Tianyu Zheng, Xinchen Luo, Guorui Zhou, Binhang Yuan, Wenhu Chen, Jie Fu, Ge Zhang
cs.AI
Resumen
En este estudio, presentamos CT-LLM, un modelo de lenguaje grande (LLM) de 2 mil millones de parámetros que representa un cambio fundamental hacia la priorización del idioma chino en el desarrollo de LLMs. Iniciado de manera única desde cero, CT-LLM se desvía de la metodología convencional al incorporar principalmente datos textuales en chino, utilizando un extenso corpus de 1,2 billones de tokens, que incluye 800 mil millones de tokens en chino, 300 mil millones en inglés y 100 mil millones de tokens de código. Esta composición estratégica facilita la excepcional competencia del modelo en la comprensión y procesamiento del chino, una capacidad que se ve aún más reforzada mediante técnicas de alineación. Demostrando un rendimiento notable en el CHC-Bench, CT-LLM sobresale en tareas de lenguaje chino y muestra su destreza en inglés a través de SFT. Esta investigación desafía el paradigma predominante de entrenar LLMs principalmente en corpus en inglés y luego adaptarlos a otros idiomas, ampliando los horizontes de las metodologías de entrenamiento de LLMs. Al hacer de código abierto todo el proceso de entrenamiento de un LLM en chino, incluyendo un procedimiento detallado de procesamiento de datos con el Corpus Masivo de Pretraining Apropiado en Chino (MAP-CC), un Benchmark Multidisciplinario de Casos Difíciles en Chino (CHC-Bench) cuidadosamente seleccionado, y el modelo CT-LLM de 2 mil millones de parámetros, nuestro objetivo es fomentar una mayor exploración e innovación tanto en la academia como en la industria, allanando el camino para modelos de lenguaje más inclusivos y versátiles.
English
In this study, we introduce CT-LLM, a 2B large language model (LLM) that
illustrates a pivotal shift towards prioritizing the Chinese language in
developing LLMs. Uniquely initiated from scratch, CT-LLM diverges from the
conventional methodology by primarily incorporating Chinese textual data,
utilizing an extensive corpus of 1,200 billion tokens, including 800 billion
Chinese tokens, 300 billion English tokens, and 100 billion code tokens. This
strategic composition facilitates the model's exceptional proficiency in
understanding and processing Chinese, a capability further enhanced through
alignment techniques. Demonstrating remarkable performance on the CHC-Bench,
CT-LLM excels in Chinese language tasks, and showcases its adeptness in English
through SFT. This research challenges the prevailing paradigm of training LLMs
predominantly on English corpora and then adapting them to other languages,
broadening the horizons for LLM training methodologies. By open-sourcing the
full process of training a Chinese LLM, including a detailed data processing
procedure with the obtained Massive Appropriate Pretraining Chinese Corpus
(MAP-CC), a well-chosen multidisciplinary Chinese Hard Case Benchmark
(CHC-Bench), and the 2B-size Chinese Tiny LLM (CT-LLM), we aim to foster
further exploration and innovation in both academia and industry, paving the
way for more inclusive and versatile language models.Summary
AI-Generated Summary