SEAP : Élagage par Activation d'Experts Sparse sans Entraînement - Libérez le Potentiel des Modèles de Langage à Grande Échelle

SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models

March 10, 2025

Auteurs: Xun Liang, Hanyu Wang, Huayi Lai, Simin Niu, Shichao Song, Jiawei Yang, Jihao Zhao, Feiyu Xiong, Bo Tang, Zhiyu Li

cs.AI

Résumé

Les grands modèles de langage ont obtenu un succès remarquable dans diverses tâches de traitement du langage naturel, mais leur coût computationnel élevé lors de l'inférence reste un goulot d'étranglement majeur. Cet article présente Sparse Expert Activation Pruning (SEAP), une méthode d'élagage sans entraînement qui conserve sélectivement les paramètres pertinents pour la tâche afin de réduire la surcharge d'inférence. Inspiré par les motifs de regroupement des états cachés et des activations dans les grands modèles de langage, SEAP identifie les motifs d'activation des experts spécifiques à la tâche et élague le modèle tout en préservant les performances de la tâche et en améliorant l'efficacité computationnelle. Les résultats expérimentaux montrent que SEAP réduit significativement la surcharge computationnelle tout en maintenant une précision compétitive. Notamment, à 50 % d'élagage, SEAP surpasse à la fois WandA et FLAP de plus de 20 %, et à 20 % d'élagage, il n'entraîne qu'une baisse de performance de 2,2 % par rapport au modèle dense. Ces résultats mettent en évidence l'évolutivité et l'efficacité de SEAP, en faisant une approche prometteuse pour l'optimisation des grands modèles de langage à grande échelle.

English

Large Language Models have achieved remarkable success across various natural language processing tasks, yet their high computational cost during inference remains a major bottleneck. This paper introduces Sparse Expert Activation Pruning (SEAP), a training-free pruning method that selectively retains task-relevant parameters to reduce inference overhead. Inspired by the clustering patterns of hidden states and activations in LLMs, SEAP identifies task-specific expert activation patterns and prunes the model while preserving task performance and enhancing computational efficiency. Experimental results demonstrate that SEAP significantly reduces computational overhead while maintaining competitive accuracy. Notably, at 50% pruning, SEAP surpasses both WandA and FLAP by over 20%, and at 20% pruning, it incurs only a 2.2% performance drop compared to the dense model. These findings highlight SEAP's scalability and effectiveness, making it a promising approach for optimizing large-scale LLMs.