WINA: Attivazione Neurale Informata dal Peso per Accelerare l'Inferenza nei Modelli Linguistici di Grande Dimensione

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference

May 26, 2025

Autori: Sihan Chen, Dan Zhao, Jongwoo Ko, Colby Banbury, Huiping Zhuang, Luming Liang, Tianyi Chen

cs.AI

Abstract

Le crescenti esigenze computazionali dei grandi modelli linguistici (LLM) rendono sempre più cruciali strategie efficienti di inferenza e attivazione. Mentre approcci recenti, come il Mixture-of-Experts (MoE), sfruttano l'attivazione selettiva ma richiedono un addestramento specializzato, i metodi di attivazione sparsa senza addestramento offrono un'applicabilità più ampia e una superiore efficienza delle risorse grazie al loro design plug-and-play. Tuttavia, molti metodi esistenti si basano esclusivamente sulle magnitudini degli stati nascosti per determinare l'attivazione, risultando in elevati errori di approssimazione e in un'accuratezza di inferenza subottimale. Per affrontare queste limitazioni, proponiamo WINA (Weight Informed Neuron Activation), un nuovo, semplice e senza addestramento framework di attivazione sparsa che considera congiuntamente le magnitudini degli stati nascosti e le norme ell_2 colonna per colonna delle matrici dei pesi. Dimostriamo che ciò porta a una strategia di sparsificazione che ottiene limiti di errore di approssimazione ottimali con garanzie teoriche più stringenti rispetto alle tecniche esistenti. Empiricamente, WINA supera anche i metodi all'avanguardia (ad esempio, TEAL) fino al 2,94% in termini di prestazioni medie agli stessi livelli di sparsità, su un insieme diversificato di architetture di LLM e dataset. Questi risultati posizionano WINA come una nuova frontiera delle prestazioni per l'attivazione sparsa senza addestramento nell'inferenza di LLM, avanzando i metodi di attivazione sparsa senza addestramento e stabilendo una solida baseline per un'inferenza efficiente. Il codice sorgente è disponibile all'indirizzo https://github.com/microsoft/wina.

English

The growing computational demands of large language models (LLMs) make efficient inference and activation strategies increasingly critical. While recent approaches, such as Mixture-of-Experts (MoE), leverage selective activation but require specialized training, training-free sparse activation methods offer broader applicability and superior resource efficiency through their plug-and-play design. However, many existing methods rely solely on hidden state magnitudes to determine activation, resulting in high approximation errors and suboptimal inference accuracy. To address these limitations, we propose WINA (Weight Informed Neuron Activation), a novel, simple, and training-free sparse activation framework that jointly considers hidden state magnitudes and the column-wise ell_2-norms of weight matrices. We show that this leads to a sparsification strategy that obtains optimal approximation error bounds with theoretical guarantees tighter than existing techniques. Empirically, WINA also outperforms state-of-the-art methods (e.g., TEAL) by up to 2.94% in average performance at the same sparsity levels, across a diverse set of LLM architectures and datasets. These results position WINA as a new performance frontier for training-free sparse activation in LLM inference, advancing training-free sparse activation methods and setting a robust baseline for efficient inference. The source code is available at https://github.com/microsoft/wina.