Fusione di Modelli e Allineamento della Sicurezza: Un Modello Difettoso Compromette Tutti

Model Merging and Safety Alignment: One Bad Model Spoils the Bunch

June 20, 2024

Autori: Hasan Abed Al Kader Hammoud, Umberto Michieli, Fabio Pizzati, Philip Torr, Adel Bibi, Bernard Ghanem, Mete Ozay

cs.AI

Abstract

La fusione di Large Language Models (LLM) è una tecnica economicamente vantaggiosa per combinare più LLM esperti in un unico modello versatile, preservando le competenze degli originali. Tuttavia, gli approcci attuali spesso trascurano l'importanza dell'allineamento alla sicurezza durante la fusione, portando a modelli fortemente disallineati. Questo lavoro indaga gli effetti della fusione di modelli sull'allineamento. Valutiamo diverse tecniche popolari di fusione di modelli, dimostrando che i metodi esistenti non solo trasferiscono competenze specifiche del dominio, ma propagano anche il disallineamento. Proponiamo un semplice approccio in due fasi per affrontare questo problema: (i) generazione di dati sintetici relativi alla sicurezza e specifici del dominio, e (ii) integrazione di questi dati generati nel processo di ottimizzazione delle tecniche esistenti di fusione di modelli basate sui dati. Ciò ci permette di trattare l'allineamento come una competenza che può essere massimizzata nel LLM risultante dalla fusione. I nostri esperimenti dimostrano l'efficacia dell'integrazione di dati relativi all'allineamento durante la fusione, ottenendo modelli che eccellono sia nelle competenze specifiche del dominio che nell'allineamento.

English

Merging Large Language Models (LLMs) is a cost-effective technique for combining multiple expert LLMs into a single versatile model, retaining the expertise of the original ones. However, current approaches often overlook the importance of safety alignment during merging, leading to highly misaligned models. This work investigates the effects of model merging on alignment. We evaluate several popular model merging techniques, demonstrating that existing methods do not only transfer domain expertise but also propagate misalignment. We propose a simple two-step approach to address this problem: (i) generating synthetic safety and domain-specific data, and (ii) incorporating these generated data into the optimization process of existing data-aware model merging techniques. This allows us to treat alignment as a skill that can be maximized in the resulting merged LLM. Our experiments illustrate the effectiveness of integrating alignment-related data during merging, resulting in models that excel in both domain expertise and alignment.