Schichtaustausch für Null-Shot Cross-Lingual Transfer in großen Sprachmodellen

Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models

October 2, 2024

Autoren: Lucas Bandarkar, Benjamin Muller, Pritish Yuvraj, Rui Hou, Nayan Singhal, Hongjiang Lv, Bing Liu

cs.AI

Zusammenfassung

Die Zusammenführung von Modellen, wie beispielsweise das Modell-Souping, ist die Praxis, verschiedene Modelle mit derselben Architektur zusammenzuführen, ohne sie weiter zu trainieren. In dieser Arbeit präsentieren wir eine Methodik zur Modellzusammenführung, die die Schwierigkeit des Feinabstimmens von großen Sprachmodellen (Large Language Models, LLMs) für Zielaufgaben in nicht-englischen Sprachen angeht, wo aufgabenspezifische Daten oft nicht verfügbar sind. Wir konzentrieren uns auf mathematisches Denken und erleichtern ohne sprachspezifische mathematische Daten den sprachübergreifenden Transfer, indem wir Sprach- und Mathematikfähigkeiten kombinieren. Ausgehend vom selben vorab trainierten Modell feinabstimmen wir separate "Experten" anhand von Mathematikunterrichtsdaten in Englisch und generischen Unterrichtsdaten in der Zielsprache. Anschließend ersetzen wir die oberen und unteren Transformer-Schichten des Mathematikexperten direkt durch Schichten des Sprachexperten, was die mathematische Leistung in der Zielsprache verbessert. Die resultierenden zusammengeführten Modelle übertreffen die einzelnen Experten und andere Zusammenführungsmethoden im Mathematik-Benchmark, MGSM, um 10 % in vier wichtigen Sprachen, in denen Mathematikunterrichtsdaten knapp sind. Darüber hinaus ist dieser Schichtaustausch einfach, kostengünstig und intuitiv, da er auf einer interpretativen Analyse der wichtigsten Parameteränderungen während der Feinabstimmung jedes Experten basiert. Die Fähigkeit, LLMs erfolgreich für sprachübergreifenden Transfer auf diese Weise neu zu komponieren, eröffnet zukünftige Möglichkeiten, Fachwissen zu kombinieren, modulare Lösungen zu schaffen und Denkfähigkeiten sprachübergreifend nachträglich zu übertragen.

English

Model merging, such as model souping, is the practice of combining different models with the same architecture together without further training. In this work, we present a model merging methodology that addresses the difficulty of fine-tuning Large Language Models (LLMs) for target tasks in non-English languages, where task-specific data is often unavailable. We focus on mathematical reasoning and without in-language math data, facilitate cross-lingual transfer by composing language and math capabilities. Starting from the same pretrained model, we fine-tune separate "experts" on math instruction data in English and on generic instruction data in the target language. We then replace the top and bottom transformer layers of the math expert directly with layers from the language expert, which consequently enhances math performance in the target language. The resulting merged models outperform the individual experts and other merging methods on the math benchmark, MGSM, by 10% across four major languages where math instruction data is scarce. In addition, this layer swapping is simple, inexpensive, and intuitive, as it is based on an interpretative analysis of the most important parameter changes during the fine-tuning of each expert. The ability to successfully re-compose LLMs for cross-lingual transfer in this manner opens up future possibilities to combine model expertise, create modular solutions, and transfer reasoning capabilities across languages all post hoc.