WINA: Activación de Neuronas Informada por Peso para Acelerar la Inferencia en Modelos de Lenguaje de Gran Escala

WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference

May 26, 2025

Autores: Sihan Chen, Dan Zhao, Jongwoo Ko, Colby Banbury, Huiping Zhuang, Luming Liang, Tianyi Chen

cs.AI

Resumen

Las crecientes demandas computacionales de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) hacen que las estrategias eficientes de inferencia y activación sean cada vez más críticas. Si bien enfoques recientes, como Mixture-of-Experts (MoE), aprovechan la activación selectiva pero requieren entrenamiento especializado, los métodos de activación dispersa sin entrenamiento ofrecen una aplicabilidad más amplia y una eficiencia de recursos superior gracias a su diseño plug-and-play. Sin embargo, muchos métodos existentes se basan únicamente en las magnitudes de los estados ocultos para determinar la activación, lo que resulta en errores de aproximación elevados y una precisión de inferencia subóptima. Para abordar estas limitaciones, proponemos WINA (Weight Informed Neuron Activation), un marco novedoso, simple y sin entrenamiento para la activación dispersa que considera conjuntamente las magnitudes de los estados ocultos y las normas ell_2 por columna de las matrices de pesos. Demostramos que esto conduce a una estrategia de esparsificación que obtiene límites óptimos de error de aproximación con garantías teóricas más estrictas que las técnicas existentes. Empíricamente, WINA también supera a los métodos de vanguardia (por ejemplo, TEAL) hasta en un 2.94% en el rendimiento promedio con los mismos niveles de dispersión, en una variedad de arquitecturas de LLMs y conjuntos de datos. Estos resultados posicionan a WINA como una nueva frontera de rendimiento para la activación dispersa sin entrenamiento en la inferencia de LLMs, avanzando en los métodos de activación dispersa sin entrenamiento y estableciendo una base robusta para la inferencia eficiente. El código fuente está disponible en https://github.com/microsoft/wina.

English

The growing computational demands of large language models (LLMs) make efficient inference and activation strategies increasingly critical. While recent approaches, such as Mixture-of-Experts (MoE), leverage selective activation but require specialized training, training-free sparse activation methods offer broader applicability and superior resource efficiency through their plug-and-play design. However, many existing methods rely solely on hidden state magnitudes to determine activation, resulting in high approximation errors and suboptimal inference accuracy. To address these limitations, we propose WINA (Weight Informed Neuron Activation), a novel, simple, and training-free sparse activation framework that jointly considers hidden state magnitudes and the column-wise ell_2-norms of weight matrices. We show that this leads to a sparsification strategy that obtains optimal approximation error bounds with theoretical guarantees tighter than existing techniques. Empirically, WINA also outperforms state-of-the-art methods (e.g., TEAL) by up to 2.94% in average performance at the same sparsity levels, across a diverse set of LLM architectures and datasets. These results position WINA as a new performance frontier for training-free sparse activation in LLM inference, advancing training-free sparse activation methods and setting a robust baseline for efficient inference. The source code is available at https://github.com/microsoft/wina.