ZeroQuant(4+2): Redefinindo a Quantização de LLMs com uma Nova Estratégia Centrada em FP6 para Tarefas Gerativas Diversas

Resumo

Este estudo examina métodos de quantização de 4 bits, como o GPTQ, em modelos de linguagem de grande escala (LLMs), destacando o overfitting do GPTQ e a melhoria limitada em tarefas Zero-Shot. Enquanto trabalhos anteriores se concentravam apenas na medição zero-shot, ampliamos o escopo das tarefas para categorias mais generativas, como geração de código e sumarização abstrativa, nas quais descobrimos que a quantização INT4 pode ter um desempenho significativamente inferior. No entanto, a simples mudança para formatos de maior precisão, como FP6, tem sido particularmente desafiadora e, portanto, negligenciada, devido ao baixo desempenho causado pela falta de integração sofisticada e estratégias de aceleração de sistema no hardware atual de IA. Nossos resultados mostram que o FP6, mesmo com um esquema de quantização de grão grosso, apresenta um desempenho robusto em vários algoritmos e tarefas, demonstrando sua superioridade em precisão e versatilidade. Notavelmente, com a quantização FP6, o modelo \codestar-15B apresenta um desempenho comparável ao seu equivalente FP16 na geração de código, e para modelos menores, como o 406M, ele se aproxima de suas linhas de base na sumarização. Nenhum desses resultados pode ser alcançado com INT4. Para melhor acomodar diversos hardwares de IA e alcançar o melhor desempenho do sistema, propomos um novo design 4+2 para FP6, a fim de atingir uma latência semelhante à quantização de grão fino INT4 de última geração. Com nosso design, o FP6 pode se tornar uma solução promissora para os métodos atuais de quantização de 4 bits utilizados em LLMs.

English

This study examines 4-bit quantization methods like GPTQ in large language models (LLMs), highlighting GPTQ's overfitting and limited enhancement in Zero-Shot tasks. While prior works merely focusing on zero-shot measurement, we extend task scope to more generative categories such as code generation and abstractive summarization, in which we found that INT4 quantization can significantly underperform. However, simply shifting to higher precision formats like FP6 has been particularly challenging, thus overlooked, due to poor performance caused by the lack of sophisticated integration and system acceleration strategies on current AI hardware. Our results show that FP6, even with a coarse-grain quantization scheme, performs robustly across various algorithms and tasks, demonstrating its superiority in accuracy and versatility. Notably, with the FP6 quantization, \codestar-15B model performs comparably to its FP16 counterpart in code generation, and for smaller models like the 406M it closely matches their baselines in summarization. Neither can be achieved by INT4. To better accommodate various AI hardware and achieve the best system performance, we propose a novel 4+2 design for FP6 to achieve similar latency to the state-of-the-art INT4 fine-grain quantization. With our design, FP6 can become a promising solution to the current 4-bit quantization methods used in LLMs.

ZeroQuant(4+2): Redefinindo a Quantização de LLMs com uma Nova Estratégia Centrada em FP6 para Tarefas Gerativas Diversas

ZeroQuant(4+2): Redefining LLMs Quantization with a New FP6-Centric Strategy for Diverse Generative Tasks

Resumo

Support