WINA: Взвешенная информированная активация нейронов для ускорения вывода больших языковых моделей

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference

May 26, 2025

Авторы: Sihan Chen, Dan Zhao, Jongwoo Ko, Colby Banbury, Huiping Zhuang, Luming Liang, Tianyi Chen

cs.AI

Аннотация

Растущие вычислительные требования крупных языковых моделей (LLM) делают стратегии эффективного вывода и активации все более критически важными. Хотя современные подходы, такие как Mixture-of-Experts (MoE), используют избирательную активацию, они требуют специализированного обучения, тогда как методы разреженной активации, не требующие обучения, предлагают более широкую применимость и превосходную эффективность использования ресурсов благодаря своей конструкции "подключи и работай". Однако многие существующие методы полагаются исключительно на величины скрытых состояний для определения активации, что приводит к высоким ошибкам аппроксимации и неоптимальной точности вывода. Чтобы устранить эти ограничения, мы предлагаем WINA (Weight Informed Neuron Activation) — новый, простой и не требующий обучения фреймворк для разреженной активации, который совместно учитывает величины скрытых состояний и столбцовые нормы ell_2 матриц весов. Мы показываем, что это приводит к стратегии разрежения, которая обеспечивает оптимальные границы ошибок аппроксимации с теоретическими гарантиями, более строгими, чем у существующих методов. Эмпирически WINA также превосходит современные методы (например, TEAL) на величину до 2,94% по среднему показателю производительности при одинаковых уровнях разреженности, на различных архитектурах LLM и наборах данных. Эти результаты позиционируют WINA как новый рубеж производительности для разреженной активации без обучения в выводе LLM, продвигая методы разреженной активации без обучения и устанавливая надежный базис для эффективного вывода. Исходный код доступен по адресу https://github.com/microsoft/wina.

English

The growing computational demands of large language models (LLMs) make efficient inference and activation strategies increasingly critical. While recent approaches, such as Mixture-of-Experts (MoE), leverage selective activation but require specialized training, training-free sparse activation methods offer broader applicability and superior resource efficiency through their plug-and-play design. However, many existing methods rely solely on hidden state magnitudes to determine activation, resulting in high approximation errors and suboptimal inference accuracy. To address these limitations, we propose WINA (Weight Informed Neuron Activation), a novel, simple, and training-free sparse activation framework that jointly considers hidden state magnitudes and the column-wise ell_2-norms of weight matrices. We show that this leads to a sparsification strategy that obtains optimal approximation error bounds with theoretical guarantees tighter than existing techniques. Empirically, WINA also outperforms state-of-the-art methods (e.g., TEAL) by up to 2.94% in average performance at the same sparsity levels, across a diverse set of LLM architectures and datasets. These results position WINA as a new performance frontier for training-free sparse activation in LLM inference, advancing training-free sparse activation methods and setting a robust baseline for efficient inference. The source code is available at https://github.com/microsoft/wina.