LLaMA oltre l'inglese: uno studio empirico sul trasferimento delle capacità linguistiche

LLaMA Beyond English: An Empirical Study on Language Capability Transfer

January 2, 2024

Autori: Jun Zhao, Zhihao Zhang, Qi Zhang, Tao Gui, Xuanjing Huang

cs.AI

Abstract

Negli ultimi tempi, sono stati compiuti progressi significativi nei grandi modelli linguistici (LLM), come dimostrato da ChatGPT, che mostra una notevole competenza in una vasta gamma di compiti complessi. Tuttavia, molti LLM mainstream (ad esempio LLaMA) sono pre-addestrati su corpora prevalentemente in inglese, il che limita le loro prestazioni in altre lingue non inglesi. In questo articolo, ci concentriamo su come trasferire efficacemente le capacità di generazione del linguaggio e di esecuzione di istruzioni a una lingua non inglese. Per rispondere a questa domanda, conduciamo un'ampia indagine empirica basata su LLaMA, accumulando oltre 1440 ore di GPU. Analizziamo l'impatto di fattori chiave come l'estensione del vocabolario, l'ulteriore pre-addestramento e la regolazione delle istruzioni sul trasferimento. Per valutare accuratamente il livello di conoscenza del modello, utilizziamo quattro benchmark di test standardizzati ampiamente utilizzati: C-Eval, MMLU, AGI-Eval e GAOKAO-Bench. Inoltre, viene condotta una valutazione completa della qualità delle risposte del modello, considerando aspetti come accuratezza, fluidità, informatività, coerenza logica e innocuità, basandosi su LLM-Eval, un benchmark composto da compiti di istruzione di 17 categorie diverse. I nostri risultati di valutazione dimostrano che è possibile ottenere prestazioni comparabili ai modelli di trasferimento all'avanguardia con meno dell'1% dei dati di pre-addestramento, sia in termini di allineamento della conoscenza che di qualità delle risposte. Inoltre, i risultati sperimentali nelle tredici lingue a bassa risorsa mostrano tendenze simili. Anticipiamo che le conclusioni rivelate dagli esperimenti aiuteranno la comunità nello sviluppo di LLM non inglesi.

English

In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-dominant corpus, which limits their performance in other non-English languages. In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. To answer this question, we conduct an extensive empirical investigation based on LLaMA, accumulating over 1440 GPU hours. We analyze the impact of key factors such as vocabulary extension, further pretraining, and instruction tuning on transfer. To accurately assess the model's level of knowledge, we employ four widely used standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench. Furthermore, a comprehensive evaluation of the model's response quality is conducted, considering aspects such as accuracy, fluency, informativeness, logical coherence, and harmlessness, based on LLM-Eval, a benchmarks consisting instruction tasks from 17 diverse categories. Our evaluation results demonstrate that comparable performance to state-of-the-art transfer models can be achieved with less than 1% of the pretraining data, both in terms of knowledge alignment and response quality. Furthermore, the experimental outcomes across the thirteen low-resource languages also exhibit similar trends. We anticipate that the conclusions revealed by the experiments will aid the community in developing non-English LLMs.