SEAP: Обучение без необходимости обрезки активаций экспертов — раскрытие интеллектуального потенциала больших языковых моделей

SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models

March 10, 2025

Авторы: Xun Liang, Hanyu Wang, Huayi Lai, Simin Niu, Shichao Song, Jiawei Yang, Jihao Zhao, Feiyu Xiong, Bo Tang, Zhiyu Li

cs.AI

Аннотация

Крупные языковые модели достигли впечатляющих успехов в различных задачах обработки естественного языка, однако их высокая вычислительная стоимость на этапе вывода остается серьезным ограничением. В данной статье представлен метод Sparse Expert Activation Pruning (SEAP) — подход к обрезке, не требующий дополнительного обучения, который избирательно сохраняет параметры, релевантные задаче, для снижения вычислительных затрат. Вдохновленный кластерными паттернами скрытых состояний и активаций в языковых моделях, SEAP идентифицирует специфичные для задачи паттерны активации экспертов и обрезает модель, сохраняя производительность на задаче и повышая вычислительную эффективность. Экспериментальные результаты показывают, что SEAP значительно снижает вычислительные затраты, сохраняя при этом конкурентоспособную точность. В частности, при обрезке на 50% SEAP превосходит WandA и FLAP более чем на 20%, а при обрезке на 20% демонстрирует снижение производительности всего на 2,2% по сравнению с плотной моделью. Эти результаты подчеркивают масштабируемость и эффективность SEAP, делая его перспективным подходом для оптимизации крупномасштабных языковых моделей.

English

Large Language Models have achieved remarkable success across various natural language processing tasks, yet their high computational cost during inference remains a major bottleneck. This paper introduces Sparse Expert Activation Pruning (SEAP), a training-free pruning method that selectively retains task-relevant parameters to reduce inference overhead. Inspired by the clustering patterns of hidden states and activations in LLMs, SEAP identifies task-specific expert activation patterns and prunes the model while preserving task performance and enhancing computational efficiency. Experimental results demonstrate that SEAP significantly reduces computational overhead while maintaining competitive accuracy. Notably, at 50% pruning, SEAP surpasses both WandA and FLAP by over 20%, and at 20% pruning, it incurs only a 2.2% performance drop compared to the dense model. These findings highlight SEAP's scalability and effectiveness, making it a promising approach for optimizing large-scale LLMs.