Замена слоев для нулевой передачи через языковые границы в крупных языковых моделях.

Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models

October 2, 2024

Авторы: Lucas Bandarkar, Benjamin Muller, Pritish Yuvraj, Rui Hou, Nayan Singhal, Hongjiang Lv, Bing Liu

cs.AI

Аннотация

Слияние моделей, такое как слияние моделей, представляет собой практику объединения различных моделей с одной архитектурой без последующего обучения. В данной работе мы представляем методологию слияния моделей, которая решает проблему настройки крупных языковых моделей (LLM) для целевых задач на не-английских языках, где специфические для задачи данные часто недоступны. Мы фокусируемся на математическом рассуждении и, не имея языковых данных по математике, облегчаем межъязыковой перенос, комбинируя языковые и математические возможности. Начиная с одной и той же предварительно обученной модели, мы донастраиваем отдельных "экспертов" на данных по математическим инструкциям на английском языке и на общих данных по инструкциям на целевом языке. Затем мы заменяем верхние и нижние трансформерные слои математического эксперта непосредственно слоями от языкового эксперта, что в конечном итоге улучшает математическую производительность на целевом языке. Полученные объединенные модели превосходят отдельных экспертов и другие методы слияния на математическом бенчмарке MGSM на 10% в четырех основных языках, где данные по математическим инструкциям ограничены. Кроме того, этот обмен слоями прост, недорог и интуитивен, так как он основан на интерпретативном анализе наиболее важных изменений параметров во время донастройки каждого эксперта. Возможность успешного повторного составления LLM для межъязыкового переноса таким образом открывает будущие возможности для объединения экспертизы модели, создания модульных решений и передачи способностей к рассуждению между языками вслед за событием.

English

Model merging, such as model souping, is the practice of combining different models with the same architecture together without further training. In this work, we present a model merging methodology that addresses the difficulty of fine-tuning Large Language Models (LLMs) for target tasks in non-English languages, where task-specific data is often unavailable. We focus on mathematical reasoning and without in-language math data, facilitate cross-lingual transfer by composing language and math capabilities. Starting from the same pretrained model, we fine-tune separate "experts" on math instruction data in English and on generic instruction data in the target language. We then replace the top and bottom transformer layers of the math expert directly with layers from the language expert, which consequently enhances math performance in the target language. The resulting merged models outperform the individual experts and other merging methods on the math benchmark, MGSM, by 10% across four major languages where math instruction data is scarce. In addition, this layer swapping is simple, inexpensive, and intuitive, as it is based on an interpretative analysis of the most important parameter changes during the fine-tuning of each expert. The ability to successfully re-compose LLMs for cross-lingual transfer in this manner opens up future possibilities to combine model expertise, create modular solutions, and transfer reasoning capabilities across languages all post hoc.