SEAP: Poda de Ativação de Especialistas Escassos sem Treinamento Desbloqueia o Potencial Intelectual de Modelos de Linguagem de Grande Escala

SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models

March 10, 2025

Autores: Xun Liang, Hanyu Wang, Huayi Lai, Simin Niu, Shichao Song, Jiawei Yang, Jihao Zhao, Feiyu Xiong, Bo Tang, Zhiyu Li

cs.AI

Resumo

Os Grandes Modelos de Linguagem (LLMs) alcançaram sucesso notável em diversas tarefas de processamento de linguagem natural, mas o alto custo computacional durante a inferência continua sendo um grande gargalo. Este artigo apresenta o Sparse Expert Activation Pruning (SEAP), um método de poda sem treinamento que retém seletivamente parâmetros relevantes para a tarefa, reduzindo a sobrecarga de inferência. Inspirado pelos padrões de agrupamento de estados ocultos e ativações em LLMs, o SEAP identifica padrões de ativação de especialistas específicos para a tarefa e poda o modelo, preservando o desempenho da tarefa e melhorando a eficiência computacional. Resultados experimentais demonstram que o SEAP reduz significativamente a sobrecarga computacional enquanto mantém uma precisão competitiva. Notavelmente, com 50% de poda, o SEAP supera tanto o WandA quanto o FLAP em mais de 20%, e com 20% de poda, ele apresenta apenas uma queda de 2,2% no desempenho em comparação com o modelo denso. Esses resultados destacam a escalabilidade e eficácia do SEAP, tornando-o uma abordagem promissora para otimizar LLMs em grande escala.

English

Large Language Models have achieved remarkable success across various natural language processing tasks, yet their high computational cost during inference remains a major bottleneck. This paper introduces Sparse Expert Activation Pruning (SEAP), a training-free pruning method that selectively retains task-relevant parameters to reduce inference overhead. Inspired by the clustering patterns of hidden states and activations in LLMs, SEAP identifies task-specific expert activation patterns and prunes the model while preserving task performance and enhancing computational efficiency. Experimental results demonstrate that SEAP significantly reduces computational overhead while maintaining competitive accuracy. Notably, at 50% pruning, SEAP surpasses both WandA and FLAP by over 20%, and at 20% pruning, it incurs only a 2.2% performance drop compared to the dense model. These findings highlight SEAP's scalability and effectiveness, making it a promising approach for optimizing large-scale LLMs.