Chinese Tiny LLM: Preentrenamiento de un Modelo de Lenguaje Grande Centrado en el Chino

Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model

April 5, 2024

Autores: Xinrun Du, Zhouliang Yu, Songyang Gao, Ding Pan, Yuyang Cheng, Ziyang Ma, Ruibin Yuan, Xingwei Qu, Jiaheng Liu, Tianyu Zheng, Xinchen Luo, Guorui Zhou, Binhang Yuan, Wenhu Chen, Jie Fu, Ge Zhang

cs.AI

Resumen

En este estudio, presentamos CT-LLM, un modelo de lenguaje grande (LLM) de 2 mil millones de parámetros que representa un cambio fundamental hacia la priorización del idioma chino en el desarrollo de LLMs. Iniciado de manera única desde cero, CT-LLM se desvía de la metodología convencional al incorporar principalmente datos textuales en chino, utilizando un extenso corpus de 1,2 billones de tokens, que incluye 800 mil millones de tokens en chino, 300 mil millones en inglés y 100 mil millones de tokens de código. Esta composición estratégica facilita la excepcional competencia del modelo en la comprensión y procesamiento del chino, una capacidad que se ve aún más reforzada mediante técnicas de alineación. Demostrando un rendimiento notable en el CHC-Bench, CT-LLM sobresale en tareas de lenguaje chino y muestra su destreza en inglés a través de SFT. Esta investigación desafía el paradigma predominante de entrenar LLMs principalmente en corpus en inglés y luego adaptarlos a otros idiomas, ampliando los horizontes de las metodologías de entrenamiento de LLMs. Al hacer de código abierto todo el proceso de entrenamiento de un LLM en chino, incluyendo un procedimiento detallado de procesamiento de datos con el Corpus Masivo de Pretraining Apropiado en Chino (MAP-CC), un Benchmark Multidisciplinario de Casos Difíciles en Chino (CHC-Bench) cuidadosamente seleccionado, y el modelo CT-LLM de 2 mil millones de parámetros, nuestro objetivo es fomentar una mayor exploración e innovación tanto en la academia como en la industria, allanando el camino para modelos de lenguaje más inclusivos y versátiles.

English

In this study, we introduce CT-LLM, a 2B large language model (LLM) that illustrates a pivotal shift towards prioritizing the Chinese language in developing LLMs. Uniquely initiated from scratch, CT-LLM diverges from the conventional methodology by primarily incorporating Chinese textual data, utilizing an extensive corpus of 1,200 billion tokens, including 800 billion Chinese tokens, 300 billion English tokens, and 100 billion code tokens. This strategic composition facilitates the model's exceptional proficiency in understanding and processing Chinese, a capability further enhanced through alignment techniques. Demonstrating remarkable performance on the CHC-Bench, CT-LLM excels in Chinese language tasks, and showcases its adeptness in English through SFT. This research challenges the prevailing paradigm of training LLMs predominantly on English corpora and then adapting them to other languages, broadening the horizons for LLM training methodologies. By open-sourcing the full process of training a Chinese LLM, including a detailed data processing procedure with the obtained Massive Appropriate Pretraining Chinese Corpus (MAP-CC), a well-chosen multidisciplinary Chinese Hard Case Benchmark (CHC-Bench), and the 2B-size Chinese Tiny LLM (CT-LLM), we aim to foster further exploration and innovation in both academia and industry, paving the way for more inclusive and versatile language models.