Fusão Informada por Ativação de Modelos de Linguagem Grandes

Activation-Informed Merging of Large Language Models

February 4, 2025

Autores: Amin Heyrani Nobari, Kaveh Alimohammadi, Ali ArjomandBigdeli, Akash Srivastava, Faez Ahmed, Navid Azizan

cs.AI

Resumo

A fusão de modelos, um método que combina os parâmetros e incorporações de múltiplos grandes modelos de linguagem finamente ajustados (LLMs), oferece uma abordagem promissora para melhorar o desempenho do modelo em várias tarefas, mantendo a eficiência computacional. Este artigo apresenta a Fusão Informada pela Ativação (AIM), uma técnica que integra as informações do espaço de ativação dos LLMs no processo de fusão para melhorar o desempenho e a robustez. AIM é projetado como uma solução flexível e complementar que é aplicável a qualquer método de fusão existente. Seu objetivo é preservar pesos críticos do modelo base, baseando-se em princípios de aprendizado contínuo (CL) e compressão de modelo. Utilizando um conjunto de calibração agnóstico à tarefa, AIM prioriza seletivamente pesos essenciais durante a fusão. Demonstramos empiricamente que AIM melhora significativamente o desempenho de modelos fundidos em vários benchmarks. Nossas descobertas sugerem que considerar as informações do espaço de ativação pode fornecer avanços substanciais nas estratégias de fusão de modelos para LLMs, com um aumento de até 40% no desempenho do benchmark.

English

Model merging, a method that combines the parameters and embeddings of multiple fine-tuned large language models (LLMs), offers a promising approach to enhance model performance across various tasks while maintaining computational efficiency. This paper introduces Activation-Informed Merging (AIM), a technique that integrates the information from the activation space of LLMs into the merging process to improve performance and robustness. AIM is designed as a flexible, complementary solution that is applicable to any existing merging method. It aims to preserve critical weights from the base model, drawing on principles from continual learning~(CL) and model compression. Utilizing a task-agnostic calibration set, AIM selectively prioritizes essential weights during merging. We empirically demonstrate that AIM significantly enhances the performance of merged models across multiple benchmarks. Our findings suggest that considering the activation-space information can provide substantial advancements in the model merging strategies for LLMs with up to 40\% increase in benchmark performance.