WINA: Ativação de Neurônios Informada por Peso para Acelerar a Inferência de Modelos de Linguagem de Grande Escala

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference

May 26, 2025

Autores: Sihan Chen, Dan Zhao, Jongwoo Ko, Colby Banbury, Huiping Zhuang, Luming Liang, Tianyi Chen

cs.AI

Resumo

As crescentes demandas computacionais de grandes modelos de linguagem (LLMs) tornam estratégias eficientes de inferência e ativação cada vez mais críticas. Embora abordagens recentes, como Mixture-of-Experts (MoE), aproveitem a ativação seletiva, elas exigem treinamento especializado, enquanto métodos de ativação esparsa sem treinamento oferecem maior aplicabilidade e eficiência de recursos por meio de seu design plug-and-play. No entanto, muitos métodos existentes dependem exclusivamente das magnitudes dos estados ocultos para determinar a ativação, resultando em altos erros de aproximação e precisão de inferência subótima. Para abordar essas limitações, propomos o WINA (Weight Informed Neuron Activation), uma nova estrutura de ativação esparsa simples e sem treinamento que considera conjuntamente as magnitudes dos estados ocultos e as normas ell_2 coluna a coluna das matrizes de pesos. Demonstramos que isso leva a uma estratégia de esparsificação que obtém limites de erro de aproximação ótimos com garantias teóricas mais rigorosas do que as técnicas existentes. Empiricamente, o WINA também supera métodos state-of-the-art (por exemplo, TEAL) em até 2,94% no desempenho médio nos mesmos níveis de esparsidade, em um conjunto diversificado de arquiteturas de LLMs e conjuntos de dados. Esses resultados posicionam o WINA como uma nova fronteira de desempenho para ativação esparsa sem treinamento na inferência de LLMs, avançando os métodos de ativação esparsa sem treinamento e estabelecendo uma linha de base robusta para inferência eficiente. O código-fonte está disponível em https://github.com/microsoft/wina.

English

The growing computational demands of large language models (LLMs) make efficient inference and activation strategies increasingly critical. While recent approaches, such as Mixture-of-Experts (MoE), leverage selective activation but require specialized training, training-free sparse activation methods offer broader applicability and superior resource efficiency through their plug-and-play design. However, many existing methods rely solely on hidden state magnitudes to determine activation, resulting in high approximation errors and suboptimal inference accuracy. To address these limitations, we propose WINA (Weight Informed Neuron Activation), a novel, simple, and training-free sparse activation framework that jointly considers hidden state magnitudes and the column-wise ell_2-norms of weight matrices. We show that this leads to a sparsification strategy that obtains optimal approximation error bounds with theoretical guarantees tighter than existing techniques. Empirically, WINA also outperforms state-of-the-art methods (e.g., TEAL) by up to 2.94% in average performance at the same sparsity levels, across a diverse set of LLM architectures and datasets. These results position WINA as a new performance frontier for training-free sparse activation in LLM inference, advancing training-free sparse activation methods and setting a robust baseline for efficient inference. The source code is available at https://github.com/microsoft/wina.