Meertalige instructieafstemming met slechts een vleugje meertaligheid

Multilingual Instruction Tuning With Just a Pinch of Multilinguality

January 3, 2024

Auteurs: Uri Shaham, Jonathan Herzig, Roee Aharoni, Idan Szpektor, Reut Tsarfaty, Matan Eyal

cs.AI

Samenvatting

Naarmate instructie-afgestemde grote taalmodellen (LLM's) wereldwijd worden geadopteerd, wordt hun vermogen om instructies in meerdere talen te volgen steeds belangrijker. Een veelbelovende aanpak is cross-linguale transfer, waarbij een model specifieke functionaliteit in een bepaalde taal verwerft door finetuning in een andere taal. In dit werk onderzoeken we hoe meertaligheid tijdens de instructie-afstemming van een meertalig LLM het volgen van instructies over verschillende talen beïnvloedt. We laten eerst zien dat veel talen enige instructie-volgende capaciteiten naar andere talen overdragen, zelfs vanuit monolinguale afstemming. Verder ontdekken we dat slechts 40 meertalige voorbeelden in een Engelse afstemmingsset het meertalige instructie-volgen aanzienlijk verbeteren, zowel in talen die tijdens de afstemming zijn gezien als in onbekende talen. Over het algemeen observeren we dat modellen die zijn afgestemd op meertalige mengsels vergelijkbare of superieure prestaties vertonen in verschillende talen vergeleken met monolingue afgestemde modellen, ondanks training op 10x minder voorbeelden in die talen. Tot slot vinden we dat het verhogen van het aantal talen in de instructie-afstemmingsset van 1 naar slechts 2, 3 of 4 de cross-linguale generalisatie vergroot. Onze resultaten suggereren dat het bouwen van massaal meertalige instructie-afgestemde modellen kan worden gedaan met slechts een zeer kleine set meertalige instructie-responsparen.

English

As instruction-tuned large language models (LLMs) gain global adoption, their ability to follow instructions in multiple languages becomes increasingly crucial. One promising approach is cross-lingual transfer, where a model acquires specific functionality on some language by finetuning on another language. In this work, we investigate how multilinguality during instruction tuning of a multilingual LLM affects instruction-following across languages. We first show that many languages transfer some instruction-following capabilities to other languages from even monolingual tuning. Furthermore, we find that only 40 multilingual examples in an English tuning set substantially improve multilingual instruction-following, both in seen and unseen languages during tuning. In general, we observe that models tuned on multilingual mixtures exhibit comparable or superior performance in several languages compared to monolingually tuned models, despite training on 10x fewer examples in those languages. Finally, we find that increasing the number of languages in the instruction tuning set from 1 to only 2, 3, or 4 increases cross-lingual generalization. Our results suggest that building massively multilingual instruction-tuned models can be done with only a very small set of multilingual instruction-responses.