Naar het volgende niveau van post-trainingskwantisering van hyperschaal-transformers

Samenvatting

Met de toenemende complexiteit van generatieve AI-modellen is post-training kwantisatie (PTQ) naar voren gekomen als een veelbelovende oplossing voor het implementeren van hyperschaalmodellen op edge-apparaten zoals mobiele apparaten en tv's. Bestaande PTQ-schema's verbruiken echter aanzienlijke tijd en middelen, wat een knelpunt kan vormen in praktijksituaties waar frequente modelupdates en meerdere hyperparameterafstemmingen vereist zijn. Als kosteneffectief alternatief zijn one-shot PTQ-schema's voorgesteld. Toch is de prestaties enigszins beperkt omdat ze de inter-laagafhankelijkheid binnen de aandachtmodule niet kunnen overwegen, wat een zeer belangrijk kenmerk is van Transformers. In dit artikel stellen we daarom een nieuw PTQ-algoritme voor dat een balans vindt tussen nauwkeurigheid en efficiëntie. De kern van het voorgestelde algoritme, genaamd aespa, is om kwantisatie laaggewijs uit te voeren voor efficiëntie, terwijl cross-laagafhankelijkheid wordt overwogen om de aandachtsscore te behouden. Door uitgebreide experimenten op verschillende taalmodelen en complexiteitsanalyse tonen we aan dat aespa nauwkeurig en efficiënt is in het kwantiseren van Transformer-modellen.

English

With the increasing complexity of generative AI models, post-training quantization (PTQ) has emerged as a promising solution for deploying hyper-scale models on edge devices such as mobile devices and TVs. Existing PTQ schemes, however, consume considerable time and resources, which could be a bottleneck in real situations where frequent model updates and multiple hyper-parameter tunings are required. As a cost-effective alternative, one-shot PTQ schemes have been proposed. Still, the performance is somewhat limited because they cannot consider the inter-layer dependency within the attention module, which is a very important feature of Transformers. In this paper, we thus propose a novel PTQ algorithm that balances accuracy and efficiency. The key idea of the proposed algorithm called aespa is to perform quantization layer-wise for efficiency while considering cross-layer dependency to preserve the attention score. Through extensive experiments on various language models and complexity analysis, we demonstrate that aespa is accurate and efficient in quantizing Transformer models.