Hacia la Cuantización Post-Entrenamiento de Próximo Nivel para Transformadores a Hiperescala

Towards Next-Level Post-Training Quantization of Hyper-Scale Transformers

February 14, 2024

Autores: Junhan Kim, Kyungphil Park, Chungman Lee, Ho-young Kim, Joonyoung Kim, Yongkweon Jeon

cs.AI

Resumen

Con la creciente complejidad de los modelos generativos de IA, la cuantización post-entrenamiento (PTQ, por sus siglas en inglés) ha surgido como una solución prometedora para implementar modelos a hiperescala en dispositivos de borde, como teléfonos móviles y televisores. Sin embargo, los esquemas de PTQ existentes consumen un tiempo y recursos considerables, lo que podría representar un cuello de botella en situaciones reales donde se requieren actualizaciones frecuentes del modelo y ajustes múltiples de hiperparámetros. Como alternativa rentable, se han propuesto esquemas de PTQ de un solo paso (one-shot). No obstante, su rendimiento es algo limitado, ya que no pueden considerar la dependencia entre capas dentro del módulo de atención, una característica muy importante de los Transformers. En este artículo, proponemos un nuevo algoritmo de PTQ que equilibra precisión y eficiencia. La idea clave del algoritmo propuesto, llamado aespa, es realizar la cuantización capa por capa para mejorar la eficiencia, mientras se considera la dependencia entre capas para preservar la puntuación de atención. A través de extensos experimentos en varios modelos de lenguaje y análisis de complejidad, demostramos que aespa es preciso y eficiente en la cuantización de modelos Transformer.

English

With the increasing complexity of generative AI models, post-training quantization (PTQ) has emerged as a promising solution for deploying hyper-scale models on edge devices such as mobile devices and TVs. Existing PTQ schemes, however, consume considerable time and resources, which could be a bottleneck in real situations where frequent model updates and multiple hyper-parameter tunings are required. As a cost-effective alternative, one-shot PTQ schemes have been proposed. Still, the performance is somewhat limited because they cannot consider the inter-layer dependency within the attention module, which is a very important feature of Transformers. In this paper, we thus propose a novel PTQ algorithm that balances accuracy and efficiency. The key idea of the proposed algorithm called aespa is to perform quantization layer-wise for efficiency while considering cross-layer dependency to preserve the attention score. Through extensive experiments on various language models and complexity analysis, we demonstrate that aespa is accurate and efficient in quantizing Transformer models.