Samenvoeging van Grote Taalmodellen op Basis van Activatie

Activation-Informed Merging of Large Language Models

February 4, 2025

Auteurs: Amin Heyrani Nobari, Kaveh Alimohammadi, Ali ArjomandBigdeli, Akash Srivastava, Faez Ahmed, Navid Azizan

cs.AI

Samenvatting

Model samenvoegen, een methode die de parameters en embeddings van meerdere fijn afgestemde grote taalmodellen (LLM's) combineert, biedt een veelbelovende benadering om de prestaties van het model te verbeteren over verschillende taken terwijl de rekenkundige efficiëntie behouden blijft. Dit artikel introduceert Activation-Informed Merging (AIM), een techniek die de informatie uit de activatieruimte van LLM's integreert in het samenvoegproces om prestaties en robuustheid te verbeteren. AIM is ontworpen als een flexibele, aanvullende oplossing die toepasbaar is op elke bestaande samenvoegmethode. Het heeft als doel om kritieke gewichten van het basismodel te behouden, gebruikmakend van principes uit continu leren (CL) en modelcompressie. Door gebruik te maken van een taakagnostische kalibratieset, prioriteert AIM selectief essentiële gewichten tijdens het samenvoegen. We tonen empirisch aan dat AIM aanzienlijk de prestaties van samengevoegde modellen verbetert over meerdere benchmarks. Onze bevindingen suggereren dat het overwegen van informatie uit de activatieruimte aanzienlijke vooruitgang kan bieden in de strategieën voor het samenvoegen van modellen voor LLM's, met een toename van maximaal 40% in benchmarkprestaties.

English

Model merging, a method that combines the parameters and embeddings of multiple fine-tuned large language models (LLMs), offers a promising approach to enhance model performance across various tasks while maintaining computational efficiency. This paper introduces Activation-Informed Merging (AIM), a technique that integrates the information from the activation space of LLMs into the merging process to improve performance and robustness. AIM is designed as a flexible, complementary solution that is applicable to any existing merging method. It aims to preserve critical weights from the base model, drawing on principles from continual learning~(CL) and model compression. Utilizing a task-agnostic calibration set, AIM selectively prioritizes essential weights during merging. We empirically demonstrate that AIM significantly enhances the performance of merged models across multiple benchmarks. Our findings suggest that considering the activation-space information can provide substantial advancements in the model merging strategies for LLMs with up to 40\% increase in benchmark performance.