Échange de couches pour le transfert interlingue sans apprentissage dans de grands modèles de langage
Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models
October 2, 2024
Auteurs: Lucas Bandarkar, Benjamin Muller, Pritish Yuvraj, Rui Hou, Nayan Singhal, Hongjiang Lv, Bing Liu
cs.AI
Résumé
La fusion de modèles, telle que le "model souping", consiste à combiner différents modèles ayant la même architecture sans effectuer de nouvel entraînement. Dans ce travail, nous présentons une méthodologie de fusion de modèles qui aborde la difficulté de l'adaptation fine des Grands Modèles de Langage (GML) pour des tâches cibles dans des langues autres que l'anglais, où les données spécifiques à la tâche sont souvent indisponibles. Nous nous concentrons sur le raisonnement mathématique et, sans données mathématiques dans la langue cible, nous facilitons le transfert interlingue en combinant les capacités linguistiques et mathématiques. À partir du même modèle pré-entraîné, nous adaptons finement des "experts" distincts sur des données d'instructions mathématiques en anglais et sur des données d'instructions génériques dans la langue cible. Nous remplaçons ensuite directement les couches supérieures et inférieures du transformateur de l'expert en mathématiques par des couches de l'expert en langues, ce qui améliore par conséquent les performances mathématiques dans la langue cible. Les modèles fusionnés résultants surpassent les experts individuels et d'autres méthodes de fusion sur le banc d'essai mathématique, MGSM, de 10 % dans quatre langues majeures où les données d'instructions mathématiques sont rares. De plus, cet échange de couches est simple, peu coûteux et intuitif, car il est basé sur une analyse interprétative des changements de paramètres les plus importants lors de l'adaptation fine de chaque expert. La capacité à recomposer avec succès des GML pour le transfert interlingue de cette manière ouvre de futures possibilités pour combiner l'expertise des modèles, créer des solutions modulaires et transférer les capacités de raisonnement entre les langues a posteriori.
English
Model merging, such as model souping, is the practice of combining different
models with the same architecture together without further training. In this
work, we present a model merging methodology that addresses the difficulty of
fine-tuning Large Language Models (LLMs) for target tasks in non-English
languages, where task-specific data is often unavailable. We focus on
mathematical reasoning and without in-language math data, facilitate
cross-lingual transfer by composing language and math capabilities. Starting
from the same pretrained model, we fine-tune separate "experts" on math
instruction data in English and on generic instruction data in the target
language. We then replace the top and bottom transformer layers of the math
expert directly with layers from the language expert, which consequently
enhances math performance in the target language. The resulting merged models
outperform the individual experts and other merging methods on the math
benchmark, MGSM, by 10% across four major languages where math instruction data
is scarce. In addition, this layer swapping is simple, inexpensive, and
intuitive, as it is based on an interpretative analysis of the most important
parameter changes during the fine-tuning of each expert. The ability to
successfully re-compose LLMs for cross-lingual transfer in this manner opens up
future possibilities to combine model expertise, create modular solutions, and
transfer reasoning capabilities across languages all post hoc.