Intercambio de Capas para Transferencia Cruzada sin Etiquetas en Modelos de Lenguaje Grandes

Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models

October 2, 2024

Autores: Lucas Bandarkar, Benjamin Muller, Pritish Yuvraj, Rui Hou, Nayan Singhal, Hongjiang Lv, Bing Liu

cs.AI

Resumen

La fusión de modelos, como la sopa de modelos, es la práctica de combinar diferentes modelos con la misma arquitectura sin entrenamiento adicional. En este trabajo, presentamos una metodología de fusión de modelos que aborda la dificultad de ajustar modelos de Lenguaje Grande (LLMs) para tareas específicas en idiomas no ingleses, donde a menudo no se dispone de datos específicos de la tarea. Nos centramos en el razonamiento matemático y, sin datos matemáticos en el idioma de interés, facilitamos la transferencia interlingüística al combinar capacidades de lenguaje y matemáticas. Partiendo del mismo modelo preentrenado, ajustamos finamente "expertos" separados con datos de instrucción matemática en inglés y datos de instrucción genérica en el idioma de interés. Luego, reemplazamos las capas superiores e inferiores del transformador del experto en matemáticas directamente con capas del experto en lenguaje, lo que mejora el rendimiento matemático en el idioma de interés. Los modelos fusionados resultantes superan a los expertos individuales y a otros métodos de fusión en el banco de pruebas matemáticas, MGSM, en un 10% en cuatro idiomas principales donde los datos de instrucción matemática son escasos. Además, este intercambio de capas es simple, económico e intuitivo, ya que se basa en un análisis interpretativo de los cambios de parámetros más importantes durante el ajuste fino de cada experto. La capacidad de recomponer con éxito LLMs para la transferencia interlingüística de esta manera abre futuras posibilidades para combinar la experiencia del modelo, crear soluciones modulares y transferir capacidades de razonamiento entre idiomas de forma posterior.

English

Model merging, such as model souping, is the practice of combining different models with the same architecture together without further training. In this work, we present a model merging methodology that addresses the difficulty of fine-tuning Large Language Models (LLMs) for target tasks in non-English languages, where task-specific data is often unavailable. We focus on mathematical reasoning and without in-language math data, facilitate cross-lingual transfer by composing language and math capabilities. Starting from the same pretrained model, we fine-tune separate "experts" on math instruction data in English and on generic instruction data in the target language. We then replace the top and bottom transformer layers of the math expert directly with layers from the language expert, which consequently enhances math performance in the target language. The resulting merged models outperform the individual experts and other merging methods on the math benchmark, MGSM, by 10% across four major languages where math instruction data is scarce. In addition, this layer swapping is simple, inexpensive, and intuitive, as it is based on an interpretative analysis of the most important parameter changes during the fine-tuning of each expert. The ability to successfully re-compose LLMs for cross-lingual transfer in this manner opens up future possibilities to combine model expertise, create modular solutions, and transfer reasoning capabilities across languages all post hoc.