SEAP: Potatura dell'Attivazione degli Esperti Sparse Senza Addestramento per Sbloccare il Potenziale dei Modelli Linguistici di Grandi Dimensioni

SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models

March 10, 2025

Autori: Xun Liang, Hanyu Wang, Huayi Lai, Simin Niu, Shichao Song, Jiawei Yang, Jihao Zhao, Feiyu Xiong, Bo Tang, Zhiyu Li

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno ottenuto un successo straordinario in vari compiti di elaborazione del linguaggio naturale, ma il loro elevato costo computazionale durante l'inferenza rimane un collo di bottiglia significativo. Questo articolo introduce il metodo Sparse Expert Activation Pruning (SEAP), una tecnica di pruning senza addestramento che selettivamente mantiene i parametri rilevanti per il compito per ridurre il sovraccarico computazionale durante l'inferenza. Ispirato dai modelli di clustering degli stati nascosti e delle attivazioni nei LLM, SEAP identifica i modelli di attivazione specifici per il compito e pota il modello preservando le prestazioni del compito e migliorando l'efficienza computazionale. I risultati sperimentali dimostrano che SEAP riduce significativamente il sovraccarico computazionale mantenendo un'accuratezza competitiva. In particolare, con un pruning del 50%, SEAP supera sia WandA che FLAP di oltre il 20%, e con un pruning del 20%, comporta solo un calo delle prestazioni del 2,2% rispetto al modello denso. Questi risultati evidenziano la scalabilità e l'efficacia di SEAP, rendendolo un approccio promettente per ottimizzare i LLM su larga scala.

English

Large Language Models have achieved remarkable success across various natural language processing tasks, yet their high computational cost during inference remains a major bottleneck. This paper introduces Sparse Expert Activation Pruning (SEAP), a training-free pruning method that selectively retains task-relevant parameters to reduce inference overhead. Inspired by the clustering patterns of hidden states and activations in LLMs, SEAP identifies task-specific expert activation patterns and prunes the model while preserving task performance and enhancing computational efficiency. Experimental results demonstrate that SEAP significantly reduces computational overhead while maintaining competitive accuracy. Notably, at 50% pruning, SEAP surpasses both WandA and FLAP by over 20%, and at 20% pruning, it incurs only a 2.2% performance drop compared to the dense model. These findings highlight SEAP's scalability and effectiveness, making it a promising approach for optimizing large-scale LLMs.