WUSH: Transformadas Adaptativas Quase Ótimas para Quantização de LLM
WUSH: Near-Optimal Adaptive Transforms for LLM Quantization
November 30, 2025
Autores: Jiale Chen, Vage Egiazarian, Torsten Hoefler, Dan Alistarh
cs.AI
Resumo
A quantização para baixa largura de bits é uma abordagem padrão para a implantação de grandes modelos de linguagem. No entanto, alguns pesos e ativações extremos ampliam a faixa dinâmica e reduzem a resolução efetiva do quantizador. Uma abordagem comum de mitigação é aplicar algumas transformadas ortogonais fixas, como matrizes de Hadamard, antes da quantização, o que normalmente reduz a faixa dinâmica. No entanto, essas transformadas ignoram as estatísticas dos dados, e sua otimalidade atualmente não é compreendida. Neste trabalho, derivamos, pela primeira vez, transformadas lineares ótimas de forma fechada, em blocos, para quantização conjunta de pesos e ativações, usando quantizadores padrão livres de dados para formatos numéricos comuns. Especificamente, fornecemos derivações das transformadas adaptativas (conscientes dos dados) ótimas para quantizadores de bloco com escala AbsMax e arredondamento para o mais próximo (RTN), para formatos inteiros e de ponto flutuante. A construção resultante, que chamamos de WUSH, combina uma estrutura base Hadamard com um componente dependente de dados baseado em momentos de segunda ordem, resultando em uma transformada não ortogonal que é comprovadamente ótima sob suposições brandas e permanece estruturada para uma implementação eficiente. Resultados experimentais preliminares mostram que nossa abordagem melhora consistentemente a transformada de Hadamard para formatos comuns.
English
Quantization to low bitwidth is a standard approach for deploying large language models, however, a few extreme weights and activations stretch the dynamic range and reduce the effective resolution of the quantizer. A common mitigation approach is to apply some fixed orthogonal transforms, such as Hadamard matrices, before quantization, which typically reduces the dynamic range. Yet, these transforms ignore the statistics of the data, and their optimality is currently not understood. In this work, we derive, for the first time, closed-form optimal linear blockwise transforms for joint weight-activation quantization using standard data-free quantizers for common numerical formats. Specifically, we provide derivations of the optimal adaptive (data-aware) transforms for round-to-nearest (RTN), AbsMax-scaled block quantizers for both integer and floating-point formats. The resulting construction, which we call WUSH, combines a Hadamard backbone with a data-dependent component based on second-order moments, yielding a non-orthogonal transform that is provably optimal under mild assumptions and remains structured for efficient implementation. Preliminary experimental results show that our approach consistently improves upon the Hadamard transform for common formats.