LLaMA Além do Inglês: Um Estudo Empírico sobre a Transferência de Capacidades Linguísticas

LLaMA Beyond English: An Empirical Study on Language Capability Transfer

January 2, 2024

Autores: Jun Zhao, Zhihao Zhang, Qi Zhang, Tao Gui, Xuanjing Huang

cs.AI

Resumo

Recentemente, avanços significativos têm sido observados em modelos de linguagem de grande escala (LLMs), exemplificados pelo ChatGPT, que demonstram proficiência notável em uma variedade de tarefas complexas. No entanto, muitos LLMs mainstream (por exemplo, LLaMA) são pré-treinados em corpora predominantemente em inglês, o que limita seu desempenho em outros idiomas não ingleses. Neste artigo, focamos em como transferir efetivamente as capacidades de geração de linguagem e seguimento de instruções para um idioma não inglês. Para responder a essa questão, conduzimos uma extensa investigação empírica baseada no LLaMA, acumulando mais de 1440 horas de GPU. Analisamos o impacto de fatores-chave, como extensão de vocabulário, pré-treinamento adicional e ajuste de instruções na transferência. Para avaliar com precisão o nível de conhecimento do modelo, empregamos quatro benchmarks de teste padronizados amplamente utilizados: C-Eval, MMLU, AGI-Eval e GAOKAO-Bench. Além disso, uma avaliação abrangente da qualidade da resposta do modelo é realizada, considerando aspectos como precisão, fluência, informatividade, coerência lógica e inocuidade, com base no LLM-Eval, um benchmark composto por tarefas de instrução de 17 categorias diversas. Nossos resultados de avaliação demonstram que um desempenho comparável aos modelos de transferência state-of-the-art pode ser alcançado com menos de 1% dos dados de pré-treinamento, tanto em termos de alinhamento de conhecimento quanto de qualidade de resposta. Além disso, os resultados experimentais em treze idiomas de baixo recurso também exibem tendências semelhantes. Antecipamos que as conclusões reveladas pelos experimentos auxiliarão a comunidade no desenvolvimento de LLMs não ingleses.

English

In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-dominant corpus, which limits their performance in other non-English languages. In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. To answer this question, we conduct an extensive empirical investigation based on LLaMA, accumulating over 1440 GPU hours. We analyze the impact of key factors such as vocabulary extension, further pretraining, and instruction tuning on transfer. To accurately assess the model's level of knowledge, we employ four widely used standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench. Furthermore, a comprehensive evaluation of the model's response quality is conducted, considering aspects such as accuracy, fluency, informativeness, logical coherence, and harmlessness, based on LLM-Eval, a benchmarks consisting instruction tasks from 17 diverse categories. Our evaluation results demonstrate that comparable performance to state-of-the-art transfer models can be achieved with less than 1% of the pretraining data, both in terms of knowledge alignment and response quality. Furthermore, the experimental outcomes across the thirteen low-resource languages also exhibit similar trends. We anticipate that the conclusions revealed by the experiments will aid the community in developing non-English LLMs.