Modellfusion und Sicherheitsabstimmung: Ein schlechtes Modell verdirbt die gesamte Gruppe.

Model Merging and Safety Alignment: One Bad Model Spoils the Bunch

June 20, 2024

Autoren: Hasan Abed Al Kader Hammoud, Umberto Michieli, Fabio Pizzati, Philip Torr, Adel Bibi, Bernard Ghanem, Mete Ozay

cs.AI

Zusammenfassung

Das Zusammenführen großer Sprachmodelle (Large Language Models, LLMs) ist eine kosteneffektive Technik, um mehrere Experten-LLMs zu einem einzigen vielseitigen Modell zu kombinieren und dabei das Fachwissen der Originalmodelle zu erhalten. Allerdings vernachlässigen aktuelle Ansätze oft die Bedeutung der Sicherheitsausrichtung während des Zusammenführens, was zu stark fehljustierten Modellen führt. Diese Arbeit untersucht die Auswirkungen des Modellzusammenführens auf die Ausrichtung. Wir bewerten mehrere beliebte Techniken zum Zusammenführen von Modellen und zeigen auf, dass bestehende Methoden nicht nur Fachwissen übertragen, sondern auch Fehlausrichtungen propagieren. Wir schlagen einen einfachen zweistufigen Ansatz zur Lösung dieses Problems vor: (i) die Generierung synthetischer Sicherheits- und domänenspezifischer Daten und (ii) die Integration dieser generierten Daten in den Optimierungsprozess bestehender datenbewusster Techniken zum Zusammenführen von Modellen. Dies ermöglicht es uns, die Ausrichtung als eine Fähigkeit zu behandeln, die im resultierenden zusammengeführten LLM maximiert werden kann. Unsere Experimente veranschaulichen die Wirksamkeit der Integration von ausrichtungsbezogenen Daten während des Zusammenführens, was zu Modellen führt, die sowohl im Fachwissen als auch in der Ausrichtung herausragend sind.

English

Merging Large Language Models (LLMs) is a cost-effective technique for combining multiple expert LLMs into a single versatile model, retaining the expertise of the original ones. However, current approaches often overlook the importance of safety alignment during merging, leading to highly misaligned models. This work investigates the effects of model merging on alignment. We evaluate several popular model merging techniques, demonstrating that existing methods do not only transfer domain expertise but also propagate misalignment. We propose a simple two-step approach to address this problem: (i) generating synthetic safety and domain-specific data, and (ii) incorporating these generated data into the optimization process of existing data-aware model merging techniques. This allows us to treat alignment as a skill that can be maximized in the resulting merged LLM. Our experiments illustrate the effectiveness of integrating alignment-related data during merging, resulting in models that excel in both domain expertise and alignment.