Mehrsprachiges Instruktions-Finetuning mit nur einer Prise Mehrsprachigkeit

Multilingual Instruction Tuning With Just a Pinch of Multilinguality

January 3, 2024

Autoren: Uri Shaham, Jonathan Herzig, Roee Aharoni, Idan Szpektor, Reut Tsarfaty, Matan Eyal

cs.AI

Zusammenfassung

Da instruktionsfeinabgestimmte große Sprachmodelle (LLMs) weltweit Verbreitung finden, wird ihre Fähigkeit, Anweisungen in mehreren Sprachen zu befolgen, zunehmend entscheidend. Ein vielversprechender Ansatz ist der Transfer über Sprachen hinweg, bei dem ein Modell spezifische Funktionalitäten in einer Sprache durch Feinabstimmung in einer anderen Sprache erwirbt. In dieser Arbeit untersuchen wir, wie sich Mehrsprachigkeit während der Instruktionsfeinabstimmung eines mehrsprachigen LLMs auf die Befolgung von Anweisungen über verschiedene Sprachen hinweg auswirkt. Wir zeigen zunächst, dass viele Sprachen einige Fähigkeiten zur Befolgung von Anweisungen auf andere Sprachen übertragen, selbst bei monolingualer Feinabstimmung. Darüber hinaus stellen wir fest, dass bereits 40 mehrsprachige Beispiele in einem englischen Feinabstimmungsdatensatz die mehrsprachige Befolgung von Anweisungen erheblich verbessern, sowohl in während der Feinabstimmung gesehenen als auch in unbekannten Sprachen. Im Allgemeinen beobachten wir, dass Modelle, die auf mehrsprachigen Mischungen feinabgestimmt wurden, in mehreren Sprachen eine vergleichbare oder überlegene Leistung im Vergleich zu monolingual feinabgestimmten Modellen zeigen, obwohl sie mit 10x weniger Beispielen in diesen Sprachen trainiert wurden. Schließlich stellen wir fest, dass die Erhöhung der Anzahl der Sprachen im Instruktionsfeinabstimmungsdatensatz von 1 auf nur 2, 3 oder 4 die sprachübergreifende Generalisierung erhöht. Unsere Ergebnisse deuten darauf hin, dass der Aufbau massiv mehrsprachiger, instruktionsfeinabgestimmter Modelle mit nur einer sehr kleinen Menge mehrsprachiger Instruktions-Antwort-Paare möglich ist.

English

As instruction-tuned large language models (LLMs) gain global adoption, their ability to follow instructions in multiple languages becomes increasingly crucial. One promising approach is cross-lingual transfer, where a model acquires specific functionality on some language by finetuning on another language. In this work, we investigate how multilinguality during instruction tuning of a multilingual LLM affects instruction-following across languages. We first show that many languages transfer some instruction-following capabilities to other languages from even monolingual tuning. Furthermore, we find that only 40 multilingual examples in an English tuning set substantially improve multilingual instruction-following, both in seen and unseen languages during tuning. In general, we observe that models tuned on multilingual mixtures exhibit comparable or superior performance in several languages compared to monolingually tuned models, despite training on 10x fewer examples in those languages. Finally, we find that increasing the number of languages in the instruction tuning set from 1 to only 2, 3, or 4 increases cross-lingual generalization. Our results suggest that building massively multilingual instruction-tuned models can be done with only a very small set of multilingual instruction-responses.