Fusión de Modelos y Alineación de Seguridad: Un Modelo Defectuoso Arruina el Conjunto

Model Merging and Safety Alignment: One Bad Model Spoils the Bunch

June 20, 2024

Autores: Hasan Abed Al Kader Hammoud, Umberto Michieli, Fabio Pizzati, Philip Torr, Adel Bibi, Bernard Ghanem, Mete Ozay

cs.AI

Resumen

La fusión de Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) es una técnica rentable para combinar múltiples LLMs expertos en un único modelo versátil, conservando la experiencia de los originales. Sin embargo, los enfoques actuales suelen pasar por alto la importancia de la alineación de seguridad durante la fusión, lo que da lugar a modelos altamente desalineados. Este trabajo investiga los efectos de la fusión de modelos en la alineación. Evaluamos varias técnicas populares de fusión de modelos, demostrando que los métodos existentes no solo transfieren la experiencia en dominios específicos, sino que también propagan la desalineación. Proponemos un enfoque simple de dos pasos para abordar este problema: (i) generar datos sintéticos de seguridad y específicos del dominio, y (ii) incorporar estos datos generados en el proceso de optimización de las técnicas existentes de fusión de modelos basadas en datos. Esto nos permite tratar la alineación como una habilidad que puede maximizarse en el LLM fusionado resultante. Nuestros experimentos ilustran la efectividad de integrar datos relacionados con la alineación durante la fusión, lo que da como resultado modelos que sobresalen tanto en la experiencia del dominio como en la alineación.

English

Merging Large Language Models (LLMs) is a cost-effective technique for combining multiple expert LLMs into a single versatile model, retaining the expertise of the original ones. However, current approaches often overlook the importance of safety alignment during merging, leading to highly misaligned models. This work investigates the effects of model merging on alignment. We evaluate several popular model merging techniques, demonstrating that existing methods do not only transfer domain expertise but also propagate misalignment. We propose a simple two-step approach to address this problem: (i) generating synthetic safety and domain-specific data, and (ii) incorporating these generated data into the optimization process of existing data-aware model merging techniques. This allows us to treat alignment as a skill that can be maximized in the resulting merged LLM. Our experiments illustrate the effectiveness of integrating alignment-related data during merging, resulting in models that excel in both domain expertise and alignment.