WINA: Gewicht-Geïnformeerde Neuron Activatie voor het Versnellen van Grote Taalmodel Inferentie

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference

May 26, 2025

Auteurs: Sihan Chen, Dan Zhao, Jongwoo Ko, Colby Banbury, Huiping Zhuang, Luming Liang, Tianyi Chen

cs.AI

Samenvatting

De toenemende rekenkundige eisen van grote taalmodellen (LLMs) maken efficiënte inferentie- en activatiestrategieën steeds kritischer. Hoewel recente benaderingen, zoals Mixture-of-Experts (MoE), selectieve activatie benutten maar gespecialiseerde training vereisen, bieden trainingsvrije sparse activatiemethoden een bredere toepasbaarheid en superieure resource-efficiëntie dankzij hun plug-and-play ontwerp. Veel bestaande methoden vertrouwen echter uitsluitend op de grootte van verborgen toestanden om activatie te bepalen, wat resulteert in hoge benaderingsfouten en suboptimale inferentienauwkeurigheid. Om deze beperkingen aan te pakken, stellen we WINA (Weight Informed Neuron Activation) voor, een nieuw, eenvoudig en trainingsvrij sparse activatieraamwerk dat zowel de grootte van verborgen toestanden als de kolomsgewijze ell_2-normen van gewichtsmatrices gezamenlijk in overweging neemt. We tonen aan dat dit leidt tot een sparsificatiestrategie die optimale benaderingsfoutgrenzen verkrijgt met theoretische garanties die strakker zijn dan bestaande technieken. Empirisch presteert WINA ook beter dan state-of-the-art methoden (bijv. TEAL) met tot wel 2,94% gemiddeld betere prestaties bij dezelfde sparsiteitsniveaus, over een diverse set van LLM-architecturen en datasets. Deze resultaten positioneren WINA als een nieuwe prestatiegrens voor trainingsvrije sparse activatie in LLM-inferentie, wat trainingsvrije sparse activatiemethoden vooruithelpt en een robuuste basis legt voor efficiënte inferentie. De broncode is beschikbaar op https://github.com/microsoft/wina.

English

The growing computational demands of large language models (LLMs) make efficient inference and activation strategies increasingly critical. While recent approaches, such as Mixture-of-Experts (MoE), leverage selective activation but require specialized training, training-free sparse activation methods offer broader applicability and superior resource efficiency through their plug-and-play design. However, many existing methods rely solely on hidden state magnitudes to determine activation, resulting in high approximation errors and suboptimal inference accuracy. To address these limitations, we propose WINA (Weight Informed Neuron Activation), a novel, simple, and training-free sparse activation framework that jointly considers hidden state magnitudes and the column-wise ell_2-norms of weight matrices. We show that this leads to a sparsification strategy that obtains optimal approximation error bounds with theoretical guarantees tighter than existing techniques. Empirically, WINA also outperforms state-of-the-art methods (e.g., TEAL) by up to 2.94% in average performance at the same sparsity levels, across a diverse set of LLM architectures and datasets. These results position WINA as a new performance frontier for training-free sparse activation in LLM inference, advancing training-free sparse activation methods and setting a robust baseline for efficient inference. The source code is available at https://github.com/microsoft/wina.