Fusión Informada por Activación de Modelos de Lenguaje Grandes

Activation-Informed Merging of Large Language Models

February 4, 2025

Autores: Amin Heyrani Nobari, Kaveh Alimohammadi, Ali ArjomandBigdeli, Akash Srivastava, Faez Ahmed, Navid Azizan

cs.AI

Resumen

La fusión de modelos, un método que combina los parámetros y las incrustaciones de múltiples grandes modelos de lenguaje finamente ajustados (LLMs), ofrece un enfoque prometedor para mejorar el rendimiento del modelo en diversas tareas manteniendo la eficiencia computacional. Este documento presenta la Fusión Informada por Activación (AIM), una técnica que integra la información del espacio de activación de los LLMs en el proceso de fusión para mejorar el rendimiento y la robustez. AIM está diseñado como una solución flexible y complementaria que es aplicable a cualquier método de fusión existente. Su objetivo es preservar los pesos críticos del modelo base, basándose en principios del aprendizaje continuo (CL) y la compresión de modelos. Utilizando un conjunto de calibración agnóstico de tareas, AIM prioriza selectivamente los pesos esenciales durante la fusión. Demostramos empíricamente que AIM mejora significativamente el rendimiento de los modelos fusionados en múltiples pruebas. Nuestros hallazgos sugieren que considerar la información del espacio de activación puede proporcionar avances sustanciales en las estrategias de fusión de modelos para LLMs, con un aumento de hasta un 40\% en el rendimiento de las pruebas.

English

Model merging, a method that combines the parameters and embeddings of multiple fine-tuned large language models (LLMs), offers a promising approach to enhance model performance across various tasks while maintaining computational efficiency. This paper introduces Activation-Informed Merging (AIM), a technique that integrates the information from the activation space of LLMs into the merging process to improve performance and robustness. AIM is designed as a flexible, complementary solution that is applicable to any existing merging method. It aims to preserve critical weights from the base model, drawing on principles from continual learning~(CL) and model compression. Utilizing a task-agnostic calibration set, AIM selectively prioritizes essential weights during merging. We empirically demonstrate that AIM significantly enhances the performance of merged models across multiple benchmarks. Our findings suggest that considering the activation-space information can provide substantial advancements in the model merging strategies for LLMs with up to 40\% increase in benchmark performance.