Scambio di Strati per il Trasferimento Zero-Shot Cross-Lingual in Modelli Linguistici di Grandi Dimensioni
Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models
October 2, 2024
Autori: Lucas Bandarkar, Benjamin Muller, Pritish Yuvraj, Rui Hou, Nayan Singhal, Hongjiang Lv, Bing Liu
cs.AI
Abstract
Il merging di modelli, come il souping di modelli, è la pratica di combinare diversi modelli con la stessa architettura insieme senza ulteriore addestramento. In questo lavoro, presentiamo una metodologia di merging di modelli che affronta la difficoltà di ottimizzare i Grandi Modelli Linguistici (LLM) per compiti specifici in lingue non inglesi, dove i dati specifici del compito spesso non sono disponibili. Ci concentriamo sul ragionamento matematico e, senza dati matematici nella lingua di destinazione, facilitiamo il trasferimento cross-linguistico componendo capacità linguistiche e matematiche. Partendo dallo stesso modello preaddestrato, ottimizziamo separatamente "esperti" su dati di istruzioni matematiche in inglese e su dati di istruzioni generiche nella lingua di destinazione. Sostituiamo quindi direttamente i livelli superiori e inferiori del trasformatore dell'esperto matematico con livelli dell'esperto linguistico, migliorando di conseguenza le prestazioni matematiche nella lingua di destinazione. I modelli combinati risultanti superano gli esperti individuali e altri metodi di merging nel benchmark matematico, MGSM, del 10% in quattro lingue principali in cui i dati di istruzione matematica sono scarsi. Inoltre, questo scambio di livelli è semplice, economico e intuitivo, poiché si basa su un'analisi interpretativa dei cambiamenti più importanti dei parametri durante l'ottimizzazione di ciascun esperto. La capacità di ricomporre con successo i LLM per il trasferimento cross-linguistico in questo modo apre future possibilità per combinare l'esperienza dei modelli, creare soluzioni modulari e trasferire capacità di ragionamento tra lingue in modo post hoc.
English
Model merging, such as model souping, is the practice of combining different
models with the same architecture together without further training. In this
work, we present a model merging methodology that addresses the difficulty of
fine-tuning Large Language Models (LLMs) for target tasks in non-English
languages, where task-specific data is often unavailable. We focus on
mathematical reasoning and without in-language math data, facilitate
cross-lingual transfer by composing language and math capabilities. Starting
from the same pretrained model, we fine-tune separate "experts" on math
instruction data in English and on generic instruction data in the target
language. We then replace the top and bottom transformer layers of the math
expert directly with layers from the language expert, which consequently
enhances math performance in the target language. The resulting merged models
outperform the individual experts and other merging methods on the math
benchmark, MGSM, by 10% across four major languages where math instruction data
is scarce. In addition, this layer swapping is simple, inexpensive, and
intuitive, as it is based on an interpretative analysis of the most important
parameter changes during the fine-tuning of each expert. The ability to
successfully re-compose LLMs for cross-lingual transfer in this manner opens up
future possibilities to combine model expertise, create modular solutions, and
transfer reasoning capabilities across languages all post hoc.