Слияние моделей и выравнивание безопасности: одна плохая модель портит все остальные

Model Merging and Safety Alignment: One Bad Model Spoils the Bunch

June 20, 2024

Авторы: Hasan Abed Al Kader Hammoud, Umberto Michieli, Fabio Pizzati, Philip Torr, Adel Bibi, Bernard Ghanem, Mete Ozay

cs.AI

Аннотация

Слияние крупных языковых моделей (LLM) является экономически эффективной техникой для объединения нескольких экспертных LLM в одну универсальную модель, сохраняя экспертизу оригинальных моделей. Однако текущие подходы часто не уделяют должного внимания важности обеспечения безопасного выравнивания во время слияния, что приводит к сильно несогласованным моделям. В данной работе исследуются эффекты слияния моделей на выравнивание. Мы оцениваем несколько популярных техник слияния моделей, демонстрируя, что существующие методы не только передают экспертизу в области, но также распространяют несогласованность. Мы предлагаем простой двухэтапный подход для решения этой проблемы: (i) генерация синтетических данных безопасности и данных, специфичных для области, и (ii) включение этих сгенерированных данных в процесс оптимизации существующих техник слияния моделей, основанных на данных. Это позволяет нам рассматривать выравнивание как навык, который можно максимизировать в полученной объединенной LLM. Наши эксперименты иллюстрируют эффективность интеграции данных, связанных с выравниванием, во время слияния, что приводит к моделям, которые превосходят как в области экспертизы, так и в выравнивании.

English

Merging Large Language Models (LLMs) is a cost-effective technique for combining multiple expert LLMs into a single versatile model, retaining the expertise of the original ones. However, current approaches often overlook the importance of safety alignment during merging, leading to highly misaligned models. This work investigates the effects of model merging on alignment. We evaluate several popular model merging techniques, demonstrating that existing methods do not only transfer domain expertise but also propagate misalignment. We propose a simple two-step approach to address this problem: (i) generating synthetic safety and domain-specific data, and (ii) incorporating these generated data into the optimization process of existing data-aware model merging techniques. This allows us to treat alignment as a skill that can be maximized in the resulting merged LLM. Our experiments illustrate the effectiveness of integrating alignment-related data during merging, resulting in models that excel in both domain expertise and alignment.