Troca de Camadas para Transferência Cruzada Sem Supervisão em Modelos de Linguagem Grandes

Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models

October 2, 2024

Autores: Lucas Bandarkar, Benjamin Muller, Pritish Yuvraj, Rui Hou, Nayan Singhal, Hongjiang Lv, Bing Liu

cs.AI

Resumo

A fusão de modelos, como o "model souping", é a prática de combinar diferentes modelos com a mesma arquitetura sem treinamento adicional. Neste trabalho, apresentamos uma metodologia de fusão de modelos que aborda a dificuldade de ajustar modelos de Linguagem Grande (LLMs) para tarefas-alvo em idiomas não ingleses, onde dados específicos da tarefa muitas vezes não estão disponíveis. Nos concentramos no raciocínio matemático e, sem dados matemáticos no idioma-alvo, facilitamos a transferência interlingual ao combinar capacidades de linguagem e matemática. Partindo do mesmo modelo pré-treinado, ajustamos separadamente "especialistas" em dados de instrução matemática em inglês e em dados de instrução genérica no idioma-alvo. Em seguida, substituímos diretamente as camadas superiores e inferiores do transformador do especialista em matemática pelas camadas do especialista em linguagem, o que consequentemente melhora o desempenho matemático no idioma-alvo. Os modelos mesclados resultantes superam os especialistas individuais e outros métodos de fusão no benchmark matemático, MGSM, em 10% em quatro idiomas principais onde os dados de instrução matemática são escassos. Além disso, essa troca de camadas é simples, econômica e intuitiva, pois é baseada em uma análise interpretativa das mudanças de parâmetros mais importantes durante o ajuste fino de cada especialista. A capacidade de recompor com sucesso LLMs para transferência interlingual dessa maneira abre possibilidades futuras para combinar expertise de modelos, criar soluções modulares e transferir capacidades de raciocínio entre idiomas de forma póstuma.

English

Model merging, such as model souping, is the practice of combining different models with the same architecture together without further training. In this work, we present a model merging methodology that addresses the difficulty of fine-tuning Large Language Models (LLMs) for target tasks in non-English languages, where task-specific data is often unavailable. We focus on mathematical reasoning and without in-language math data, facilitate cross-lingual transfer by composing language and math capabilities. Starting from the same pretrained model, we fine-tune separate "experts" on math instruction data in English and on generic instruction data in the target language. We then replace the top and bottom transformer layers of the math expert directly with layers from the language expert, which consequently enhances math performance in the target language. The resulting merged models outperform the individual experts and other merging methods on the math benchmark, MGSM, by 10% across four major languages where math instruction data is scarce. In addition, this layer swapping is simple, inexpensive, and intuitive, as it is based on an interpretative analysis of the most important parameter changes during the fine-tuning of each expert. The ability to successfully re-compose LLMs for cross-lingual transfer in this manner opens up future possibilities to combine model expertise, create modular solutions, and transfer reasoning capabilities across languages all post hoc.