LLaMA über Englisch hinaus: Eine empirische Studie zur Übertragung von Sprachfähigkeiten

LLaMA Beyond English: An Empirical Study on Language Capability Transfer

January 2, 2024

Autoren: Jun Zhao, Zhihao Zhang, Qi Zhang, Tao Gui, Xuanjing Huang

cs.AI

Zusammenfassung

In jüngster Zeit wurden erhebliche Fortschritte bei großen Sprachmodellen (LLMs) beobachtet, wie beispielsweise ChatGPT, das bemerkenswerte Fähigkeiten bei einer Vielzahl komplexer Aufgaben zeigt. Viele der gängigen LLMs (z. B. LLaMA) werden jedoch auf einem englischdominierten Korpus vortrainiert, was ihre Leistung in anderen nicht-englischen Sprachen einschränkt. In diesem Artikel konzentrieren wir uns darauf, wie die Fähigkeiten zur Sprachgenerierung und zur Befolgung von Anweisungen effektiv auf eine nicht-englische Sprache übertragen werden können. Um diese Frage zu beantworten, führen wir eine umfangreiche empirische Untersuchung basierend auf LLaMA durch, die über 1440 GPU-Stunden in Anspruch nimmt. Wir analysieren die Auswirkungen von Schlüsselfaktoren wie Vokabelerweiterung, weiterem Vortraining und Instruction-Tuning auf die Übertragung. Um das Wissen des Modells genau zu bewerten, verwenden wir vier weit verbreitete standardisierte Testbenchmarks: C-Eval, MMLU, AGI-Eval und GAOKAO-Bench. Darüber hinaus wird eine umfassende Bewertung der Antwortqualität des Modells durchgeführt, wobei Aspekte wie Genauigkeit, Flüssigkeit, Informationsgehalt, logische Kohärenz und Unbedenklichkeit berücksichtigt werden, basierend auf LLM-Eval, einem Benchmark, der Anweisungsaufgaben aus 17 verschiedenen Kategorien umfasst. Unsere Evaluationsergebnisse zeigen, dass mit weniger als 1 % der Vortrainingsdaten eine vergleichbare Leistung zu den besten Transfermodellen sowohl in Bezug auf die Wissensausrichtung als auch auf die Antwortqualität erreicht werden kann. Darüber hinaus zeigen die experimentellen Ergebnisse über die dreizehn ressourcenarmen Sprachen ähnliche Trends. Wir gehen davon aus, dass die durch die Experimente gewonnenen Erkenntnisse der Gemeinschaft bei der Entwicklung nicht-englischer LLMs helfen werden.

English

In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-dominant corpus, which limits their performance in other non-English languages. In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. To answer this question, we conduct an extensive empirical investigation based on LLaMA, accumulating over 1440 GPU hours. We analyze the impact of key factors such as vocabulary extension, further pretraining, and instruction tuning on transfer. To accurately assess the model's level of knowledge, we employ four widely used standardized testing benchmarks: C-Eval, MMLU, AGI-Eval, and GAOKAO-Bench. Furthermore, a comprehensive evaluation of the model's response quality is conducted, considering aspects such as accuracy, fluency, informativeness, logical coherence, and harmlessness, based on LLM-Eval, a benchmarks consisting instruction tasks from 17 diverse categories. Our evaluation results demonstrate that comparable performance to state-of-the-art transfer models can be achieved with less than 1% of the pretraining data, both in terms of knowledge alignment and response quality. Furthermore, the experimental outcomes across the thirteen low-resource languages also exhibit similar trends. We anticipate that the conclusions revealed by the experiments will aid the community in developing non-English LLMs.