Rumo ao Próximo Nível de Quantização Pós-Treinamento de Transformers Hiperdimensionados

Towards Next-Level Post-Training Quantization of Hyper-Scale Transformers

February 14, 2024

Autores: Junhan Kim, Kyungphil Park, Chungman Lee, Ho-young Kim, Joonyoung Kim, Yongkweon Jeon

cs.AI

Resumo

Com o aumento da complexidade dos modelos de IA generativa, a quantização pós-treinamento (PTQ, do inglês Post-Training Quantization) surgiu como uma solução promissora para a implantação de modelos hiperdimensionados em dispositivos de borda, como celulares e TVs. No entanto, os esquemas de PTQ existentes consomem tempo e recursos consideráveis, o que pode se tornar um gargalo em situações reais onde atualizações frequentes de modelos e ajustes múltiplos de hiperparâmetros são necessários. Como uma alternativa econômica, esquemas de PTQ de única passagem (one-shot) foram propostos. Ainda assim, o desempenho é um tanto limitado, pois eles não conseguem considerar a dependência intercamadas dentro do módulo de atenção, uma característica muito importante dos Transformers. Neste artigo, propomos, portanto, um novo algoritmo de PTQ que equilibra precisão e eficiência. A ideia central do algoritmo proposto, chamado aespa, é realizar a quantização camada por camada para eficiência, ao mesmo tempo em que considera a dependência entre camadas para preservar a pontuação de atenção. Por meio de extensos experimentos em vários modelos de linguagem e análises de complexidade, demonstramos que o aespa é preciso e eficiente na quantização de modelos Transformer.

English

With the increasing complexity of generative AI models, post-training quantization (PTQ) has emerged as a promising solution for deploying hyper-scale models on edge devices such as mobile devices and TVs. Existing PTQ schemes, however, consume considerable time and resources, which could be a bottleneck in real situations where frequent model updates and multiple hyper-parameter tunings are required. As a cost-effective alternative, one-shot PTQ schemes have been proposed. Still, the performance is somewhat limited because they cannot consider the inter-layer dependency within the attention module, which is a very important feature of Transformers. In this paper, we thus propose a novel PTQ algorithm that balances accuracy and efficiency. The key idea of the proposed algorithm called aespa is to perform quantization layer-wise for efficiency while considering cross-layer dependency to preserve the attention score. Through extensive experiments on various language models and complexity analysis, we demonstrate that aespa is accurate and efficient in quantizing Transformer models.