Fusão de Modelos e Alinhamento de Segurança: Um Modelo Ruim Compromete o Grupo

Model Merging and Safety Alignment: One Bad Model Spoils the Bunch

June 20, 2024

Autores: Hasan Abed Al Kader Hammoud, Umberto Michieli, Fabio Pizzati, Philip Torr, Adel Bibi, Bernard Ghanem, Mete Ozay

cs.AI

Resumo

A fusão de Grandes Modelos de Linguagem (LLMs, na sigla em inglês) é uma técnica econômica para combinar múltiplos LLMs especializados em um único modelo versátil, mantendo a expertise dos originais. No entanto, as abordagens atuais frequentemente negligenciam a importância do alinhamento de segurança durante a fusão, resultando em modelos altamente desalinhados. Este trabalho investiga os efeitos da fusão de modelos no alinhamento. Avaliamos várias técnicas populares de fusão de modelos, demonstrando que os métodos existentes não apenas transferem expertise de domínio, mas também propagam desalinhamento. Propomos uma abordagem simples em duas etapas para resolver esse problema: (i) gerar dados sintéticos de segurança e específicos do domínio, e (ii) incorporar esses dados gerados no processo de otimização das técnicas existentes de fusão de modelos com consciência de dados. Isso nos permite tratar o alinhamento como uma habilidade que pode ser maximizada no LLM resultante da fusão. Nossos experimentos ilustram a eficácia da integração de dados relacionados ao alinhamento durante a fusão, resultando em modelos que se destacam tanto em expertise de domínio quanto em alinhamento.

English

Merging Large Language Models (LLMs) is a cost-effective technique for combining multiple expert LLMs into a single versatile model, retaining the expertise of the original ones. However, current approaches often overlook the importance of safety alignment during merging, leading to highly misaligned models. This work investigates the effects of model merging on alignment. We evaluate several popular model merging techniques, demonstrating that existing methods do not only transfer domain expertise but also propagate misalignment. We propose a simple two-step approach to address this problem: (i) generating synthetic safety and domain-specific data, and (ii) incorporating these generated data into the optimization process of existing data-aware model merging techniques. This allows us to treat alignment as a skill that can be maximized in the resulting merged LLM. Our experiments illustrate the effectiveness of integrating alignment-related data during merging, resulting in models that excel in both domain expertise and alignment.