ZeroQuant(4+2): Redefiniendo la cuantización de LLMs con una nueva estrategia centrada en FP6 para diversas tareas generativas

Resumen

Este estudio examina métodos de cuantización de 4 bits como GPTQ en modelos de lenguaje grandes (LLMs), destacando el sobreajuste de GPTQ y su mejora limitada en tareas de Zero-Shot. Mientras que trabajos previos se centraban únicamente en la medición de Zero-Shot, ampliamos el alcance de las tareas a categorías más generativas, como la generación de código y la resumen abstractivo, donde encontramos que la cuantización INT4 puede tener un rendimiento significativamente inferior. Sin embargo, simplemente cambiar a formatos de mayor precisión como FP6 ha sido particularmente desafiante y, por lo tanto, pasado por alto, debido al bajo rendimiento causado por la falta de integración sofisticada y estrategias de aceleración del sistema en el hardware actual de IA. Nuestros resultados muestran que FP6, incluso con un esquema de cuantización de grano grueso, funciona de manera robusta en varios algoritmos y tareas, demostrando su superioridad en precisión y versatilidad. Notablemente, con la cuantización FP6, el modelo \codestar-15B tiene un rendimiento comparable a su contraparte FP16 en la generación de código, y para modelos más pequeños como el de 406M, se acerca mucho a sus líneas base en la tarea de resumen. Ninguno de estos logros puede ser alcanzado por INT4. Para adaptarse mejor a diversos hardwares de IA y lograr el mejor rendimiento del sistema, proponemos un diseño novedoso de 4+2 para FP6 que logra una latencia similar a la cuantización de grano fino INT4 de última generación. Con nuestro diseño, FP6 puede convertirse en una solución prometedora para los métodos actuales de cuantización de 4 bits utilizados en LLMs.

English

This study examines 4-bit quantization methods like GPTQ in large language models (LLMs), highlighting GPTQ's overfitting and limited enhancement in Zero-Shot tasks. While prior works merely focusing on zero-shot measurement, we extend task scope to more generative categories such as code generation and abstractive summarization, in which we found that INT4 quantization can significantly underperform. However, simply shifting to higher precision formats like FP6 has been particularly challenging, thus overlooked, due to poor performance caused by the lack of sophisticated integration and system acceleration strategies on current AI hardware. Our results show that FP6, even with a coarse-grain quantization scheme, performs robustly across various algorithms and tasks, demonstrating its superiority in accuracy and versatility. Notably, with the FP6 quantization, \codestar-15B model performs comparably to its FP16 counterpart in code generation, and for smaller models like the 406M it closely matches their baselines in summarization. Neither can be achieved by INT4. To better accommodate various AI hardware and achieve the best system performance, we propose a novel 4+2 design for FP6 to achieve similar latency to the state-of-the-art INT4 fine-grain quantization. With our design, FP6 can become a promising solution to the current 4-bit quantization methods used in LLMs.

ZeroQuant(4+2): Redefiniendo la cuantización de LLMs con una nueva estrategia centrada en FP6 para diversas tareas generativas

ZeroQuant(4+2): Redefining LLMs Quantization with a New FP6-Centric Strategy for Diverse Generative Tasks

Resumen

Support