大規模言語モデルの活性化情報に基づくマージング

Activation-Informed Merging of Large Language Models

February 4, 2025

著者: Amin Heyrani Nobari, Kaveh Alimohammadi, Ali ArjomandBigdeli, Akash Srivastava, Faez Ahmed, Navid Azizan

cs.AI

要旨

モデル統合は、複数の微調整された大規模言語モデル（LLM）のパラメータと埋め込みを組み合わせる手法であり、計算効率を維持しながらさまざまなタスクでモデルの性能を向上させる有望なアプローチを提供します。本論文では、Activation-Informed Merging（AIM）という手法を紹介し、LLMの活性化空間からの情報を統合プロセスに取り込むことで性能と頑健性を向上させます。AIMは、既存の統合手法に適用可能な柔軟で補完的なソリューションとして設計されています。AIMは、基本モデルから重要な重みを保持することを目指し、継続学習（CL）とモデル圧縮の原則に基づいています。タスクに依存しないキャリブレーションセットを利用して、AIMは統合時に重要な重みを選択的に優先します。我々は実験的に示し、AIMが複数のベンチマークで統合モデルの性能を著しく向上させることを証明しています。我々の研究結果は、活性化空間情報を考慮することが、LLMのモデル統合戦略において大幅な進展をもたらし、ベンチマーク性能が最大40％向上する可能性があることを示唆しています。

English

Model merging, a method that combines the parameters and embeddings of multiple fine-tuned large language models (LLMs), offers a promising approach to enhance model performance across various tasks while maintaining computational efficiency. This paper introduces Activation-Informed Merging (AIM), a technique that integrates the information from the activation space of LLMs into the merging process to improve performance and robustness. AIM is designed as a flexible, complementary solution that is applicable to any existing merging method. It aims to preserve critical weights from the base model, drawing on principles from continual learning~(CL) and model compression. Utilizing a task-agnostic calibration set, AIM selectively prioritizes essential weights during merging. We empirically demonstrate that AIM significantly enhances the performance of merged models across multiple benchmarks. Our findings suggest that considering the activation-space information can provide substantial advancements in the model merging strategies for LLMs with up to 40\% increase in benchmark performance.