Chinese Tiny LLM : Prétraitement d'un modèle de langage massif centré sur le chinois

Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model

April 5, 2024

Auteurs: Xinrun Du, Zhouliang Yu, Songyang Gao, Ding Pan, Yuyang Cheng, Ziyang Ma, Ruibin Yuan, Xingwei Qu, Jiaheng Liu, Tianyu Zheng, Xinchen Luo, Guorui Zhou, Binhang Yuan, Wenhu Chen, Jie Fu, Ge Zhang

cs.AI

Résumé

Dans cette étude, nous présentons CT-LLM, un grand modèle de langage (LLM) de 2 milliards de paramètres qui illustre un tournant décisif vers la priorisation de la langue chinoise dans le développement des LLM. Initié de manière unique à partir de zéro, CT-LLM se distingue de la méthodologie conventionnelle en incorporant principalement des données textuelles chinoises, utilisant un vaste corpus de 1 200 milliards de tokens, comprenant 800 milliards de tokens chinois, 300 milliards de tokens anglais et 100 milliards de tokens de code. Cette composition stratégique facilite la maîtrise exceptionnelle du modèle dans la compréhension et le traitement du chinois, une capacité encore renforcée par des techniques d'alignement. Démontrant des performances remarquables sur le CHC-Bench, CT-LLM excelle dans les tâches linguistiques chinoises et montre son aptitude en anglais grâce au SFT. Cette recherche remet en question le paradigme dominant consistant à entraîner les LLM principalement sur des corpus anglais avant de les adapter à d'autres langues, élargissant ainsi les horizons des méthodologies d'entraînement des LLM. En ouvrant l'accès à l'ensemble du processus d'entraînement d'un LLM chinois, y compris une procédure détaillée de traitement des données avec le Massive Appropriate Pretraining Chinese Corpus (MAP-CC), un benchmark multidisciplinaire bien choisi de cas difficiles en chinois (CHC-Bench), et le Chinese Tiny LLM (CT-LLM) de taille 2 milliards de paramètres, nous visons à favoriser une exploration et une innovation accrues dans les milieux académiques et industriels, ouvrant la voie à des modèles de langage plus inclusifs et polyvalents.

English

In this study, we introduce CT-LLM, a 2B large language model (LLM) that illustrates a pivotal shift towards prioritizing the Chinese language in developing LLMs. Uniquely initiated from scratch, CT-LLM diverges from the conventional methodology by primarily incorporating Chinese textual data, utilizing an extensive corpus of 1,200 billion tokens, including 800 billion Chinese tokens, 300 billion English tokens, and 100 billion code tokens. This strategic composition facilitates the model's exceptional proficiency in understanding and processing Chinese, a capability further enhanced through alignment techniques. Demonstrating remarkable performance on the CHC-Bench, CT-LLM excels in Chinese language tasks, and showcases its adeptness in English through SFT. This research challenges the prevailing paradigm of training LLMs predominantly on English corpora and then adapting them to other languages, broadening the horizons for LLM training methodologies. By open-sourcing the full process of training a Chinese LLM, including a detailed data processing procedure with the obtained Massive Appropriate Pretraining Chinese Corpus (MAP-CC), a well-chosen multidisciplinary Chinese Hard Case Benchmark (CHC-Bench), and the 2B-size Chinese Tiny LLM (CT-LLM), we aim to foster further exploration and innovation in both academia and industry, paving the way for more inclusive and versatile language models.