SEAP: トレーニング不要のスパースエキスパート活性化プルーニング - 大規模言語モデルの知能を解き放つ

SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models

March 10, 2025

著者: Xun Liang, Hanyu Wang, Huayi Lai, Simin Niu, Shichao Song, Jiawei Yang, Jihao Zhao, Feiyu Xiong, Bo Tang, Zhiyu Li

cs.AI

要旨

大規模言語モデル（LLM）は、様々な自然言語処理タスクで顕著な成功を収めているが、推論時の高い計算コストが依然として主要なボトルネックとなっている。本論文では、推論オーバーヘッドを削減するために、タスクに関連するパラメータを選択的に保持するトレーニング不要のプルーニング手法であるSparse Expert Activation Pruning（SEAP）を提案する。SEAPは、LLMの隠れ状態と活性化のクラスタリングパターンに着想を得て、タスク固有のエキスパート活性化パターンを特定し、タスク性能を維持しながらモデルをプルーニングし、計算効率を向上させる。実験結果は、SEAPが競争力のある精度を維持しながら、計算オーバーヘッドを大幅に削減することを示している。特に、50%のプルーニングでは、SEAPはWandAとFLAPを20%以上上回り、20%のプルーニングでは、密なモデルと比較してわずか2.2%の性能低下しか生じない。これらの結果は、SEAPのスケーラビリティと有効性を強調し、大規模LLMの最適化における有望なアプローチであることを示している。

English

Large Language Models have achieved remarkable success across various natural language processing tasks, yet their high computational cost during inference remains a major bottleneck. This paper introduces Sparse Expert Activation Pruning (SEAP), a training-free pruning method that selectively retains task-relevant parameters to reduce inference overhead. Inspired by the clustering patterns of hidden states and activations in LLMs, SEAP identifies task-specific expert activation patterns and prunes the model while preserving task performance and enhancing computational efficiency. Experimental results demonstrate that SEAP significantly reduces computational overhead while maintaining competitive accuracy. Notably, at 50% pruning, SEAP surpasses both WandA and FLAP by over 20%, and at 20% pruning, it incurs only a 2.2% performance drop compared to the dense model. These findings highlight SEAP's scalability and effectiveness, making it a promising approach for optimizing large-scale LLMs.