LLaMA au-delà de l'anglais : Une étude empirique sur le transfert des capacités linguistiques

LLaMA Beyond English: An Empirical Study on Language Capability Transfer

January 2, 2024

Auteurs: Jun Zhao, Zhihao Zhang, Qi Zhang, Tao Gui, Xuanjing Huang

cs.AI

Résumé

Ces dernières années, des progrès significatifs ont été réalisés dans le domaine des grands modèles de langage (LLMs), illustrés par ChatGPT, qui démontrent une compétence remarquable dans une variété de tâches complexes. Cependant, de nombreux LLMs grand public (par exemple, LLaMA) sont pré-entraînés sur des corpus principalement en anglais, ce qui limite leurs performances dans d'autres langues non anglophones. Dans cet article, nous nous concentrons sur la manière de transférer efficacement les capacités de génération de langage et de suivi d'instructions à une langue non anglaise. Pour répondre à cette question, nous menons une vaste investigation empirique basée sur LLaMA, accumulant plus de 1440 heures de GPU. Nous analysons l'impact de facteurs clés tels que l'extension du vocabulaire, le pré-entraînement supplémentaire et l'ajustement des instructions sur le transfert. Pour évaluer avec précision le niveau de connaissances du modèle, nous utilisons quatre benchmarks de test standardisés largement utilisés : C-Eval, MMLU, AGI-Eval et GAOKAO-Bench. De plus, une évaluation complète de la qualité des réponses du modèle est réalisée, en tenant compte d'aspects tels que l'exactitude, la fluidité, l'informativité, la cohérence logique et l'innocuité, basée sur LLM-Eval, un ensemble de benchmarks comprenant des tâches d'instruction provenant de 17 catégories diverses. Nos résultats d'évaluation démontrent qu'une performance comparable aux modèles de transfert de pointe peut être atteinte avec moins de 1 % des données de pré-entraînement, tant en termes d'alignement des connaissances que de qualité des réponses. Par ailleurs, les résultats expérimentaux à travers les treize langues à ressources limitées montrent également des tendances similaires. Nous anticipons que les conclusions révélées par les expériences aideront la communauté à développer des LLMs non anglophones.

English

In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-dominant corpus, which limits their performance in other non-English languages. In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. To answer this question, we conduct an extensive empirical investigation based on LLaMA, accumulating over 1440 GPU hours. We analyze the impact of key factors such as vocabulary extension, further pretraining, and instruction tuning on transfer. To accurately assess the model's level of knowledge, we employ four widely used standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench. Furthermore, a comprehensive evaluation of the model's response quality is conducted, considering aspects such as accuracy, fluency, informativeness, logical coherence, and harmlessness, based on LLM-Eval, a benchmarks consisting instruction tasks from 17 diverse categories. Our evaluation results demonstrate that comparable performance to state-of-the-art transfer models can be achieved with less than 1% of the pretraining data, both in terms of knowledge alignment and response quality. Furthermore, the experimental outcomes across the thirteen low-resource languages also exhibit similar trends. We anticipate that the conclusions revealed by the experiments will aid the community in developing non-English LLMs.