Laaguitwisseling voor nul-shot cross-linguale overdracht in grote taalmodellen

Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models

October 2, 2024

Auteurs: Lucas Bandarkar, Benjamin Muller, Pritish Yuvraj, Rui Hou, Nayan Singhal, Hongjiang Lv, Bing Liu

cs.AI

Samenvatting

Model samenvoegen, zoals model samenvoegen, is de praktijk van het combineren van verschillende modellen met dezelfde architectuur zonder verdere training. In dit werk presenteren we een model samenvoegingsmethodologie die de moeilijkheid aanpakt van het fijnafstemmen van Grote Taalmodellen (GTM's) voor doeltaken in niet-Engelse talen, waar taakspecifieke gegevens vaak niet beschikbaar zijn. We richten ons op wiskundig redeneren en vergemakkelijken, zonder wiskundige gegevens in de taal, crosslinguale overdracht door taal- en wiskundige mogelijkheden te combineren. Vertrekkend van hetzelfde voorgeleerde model stemmen we aparte "experts" af op wiskunde-instructiegegevens in het Engels en op generieke instructiegegevens in de doeltaal. Vervolgens vervangen we de bovenste en onderste transformerlagen van de wiskunde-expert rechtstreeks met lagen van de taalexpert, wat de wiskundeprestaties in de doeltaal verbetert. De resulterende samengevoegde modellen presteren beter dan de afzonderlijke experts en andere samenvoegingsmethoden op de wiskundebenchmark, MGSM, met 10% over vier belangrijke talen waar wiskunde-instructiegegevens schaars zijn. Bovendien is deze laaguitwisseling eenvoudig, goedkoop en intuïtief, omdat deze gebaseerd is op een interpretatieve analyse van de belangrijkste parameterwijzigingen tijdens het fijnafstemmen van elke expert. De mogelijkheid om LLM's op succesvolle wijze opnieuw samen te stellen voor crosslinguale overdracht op deze manier opent toekomstige mogelijkheden om modeldeskundigheid te combineren, modulaire oplossingen te creëren en redeneervermogens over talen heen over te dragen, allemaal achteraf.

English

Model merging, such as model souping, is the practice of combining different models with the same architecture together without further training. In this work, we present a model merging methodology that addresses the difficulty of fine-tuning Large Language Models (LLMs) for target tasks in non-English languages, where task-specific data is often unavailable. We focus on mathematical reasoning and without in-language math data, facilitate cross-lingual transfer by composing language and math capabilities. Starting from the same pretrained model, we fine-tune separate "experts" on math instruction data in English and on generic instruction data in the target language. We then replace the top and bottom transformer layers of the math expert directly with layers from the language expert, which consequently enhances math performance in the target language. The resulting merged models outperform the individual experts and other merging methods on the math benchmark, MGSM, by 10% across four major languages where math instruction data is scarce. In addition, this layer swapping is simple, inexpensive, and intuitive, as it is based on an interpretative analysis of the most important parameter changes during the fine-tuning of each expert. The ability to successfully re-compose LLMs for cross-lingual transfer in this manner opens up future possibilities to combine model expertise, create modular solutions, and transfer reasoning capabilities across languages all post hoc.