Model Fusie en Veiligheidsafstemming: Eén Slecht Model Bederft de Hele Groep

Model Merging and Safety Alignment: One Bad Model Spoils the Bunch

June 20, 2024

Auteurs: Hasan Abed Al Kader Hammoud, Umberto Michieli, Fabio Pizzati, Philip Torr, Adel Bibi, Bernard Ghanem, Mete Ozay

cs.AI

Samenvatting

Het samenvoegen van grote taalmodellen (LLMs) is een kosteneffectieve techniek om meerdere gespecialiseerde LLMs te combineren tot één veelzijdig model, waarbij de expertise van de originele modellen behouden blijft. Huidige benaderingen negeren echter vaak het belang van veiligheidsuitlijning tijdens het samenvoegen, wat leidt tot sterk verkeerd uitgelijnde modellen. Dit onderzoek bestudeert de effecten van modelsamenvoeging op uitlijning. We evalueren verschillende populaire technieken voor modelsamenvoeging en tonen aan dat bestaande methoden niet alleen domeinexpertise overdragen, maar ook verkeerde uitlijning doorgeven. We stellen een eenvoudige tweestapsaanpak voor om dit probleem aan te pakken: (i) het genereren van synthetische veiligheids- en domeinspecifieke data, en (ii) het integreren van deze gegenereerde data in het optimalisatieproces van bestaande data-afhankelijke modelsamenvoegingstechnieken. Hierdoor kunnen we uitlijning behandelen als een vaardigheid die gemaximaliseerd kan worden in het resulterende samengevoegde LLM. Onze experimenten illustreren de effectiviteit van het integreren van uitlijninggerelateerde data tijdens het samenvoegen, wat resulteert in modellen die uitblinken in zowel domeinexpertise als uitlijning.

English

Merging Large Language Models (LLMs) is a cost-effective technique for combining multiple expert LLMs into a single versatile model, retaining the expertise of the original ones. However, current approaches often overlook the importance of safety alignment during merging, leading to highly misaligned models. This work investigates the effects of model merging on alignment. We evaluate several popular model merging techniques, demonstrating that existing methods do not only transfer domain expertise but also propagate misalignment. We propose a simple two-step approach to address this problem: (i) generating synthetic safety and domain-specific data, and (ii) incorporating these generated data into the optimization process of existing data-aware model merging techniques. This allows us to treat alignment as a skill that can be maximized in the resulting merged LLM. Our experiments illustrate the effectiveness of integrating alignment-related data during merging, resulting in models that excel in both domain expertise and alignment.