ZeroQuant(4+2): Ridefinire la Quantizzazione dei Modelli Linguistici con una Nuova Strategia Centrata su FP6 per Compiti Generativi Diversificati

ZeroQuant(4+2): Redefining LLMs Quantization with a New FP6-Centric Strategy for Diverse Generative Tasks

December 14, 2023

Autori: Xiaoxia Wu, Haojun Xia, Stephen Youn, Zhen Zheng, Shiyang Chen, Arash Bakhtiari, Michael Wyatt, Yuxiong He, Olatunji Ruwase, Leon Song, Zhewei Yao

cs.AI

Abstract

Questo studio esamina i metodi di quantizzazione a 4 bit come GPTQ nei grandi modelli linguistici (LLM), evidenziando l'overfitting di GPTQ e il limitato miglioramento nei compiti Zero-Shot. Mentre i lavori precedenti si concentravano esclusivamente sulla misurazione zero-shot, estendiamo l'ambito dei compiti a categorie più generative come la generazione di codice e la sintesi astrattiva, in cui abbiamo riscontrato che la quantizzazione INT4 può risultare significativamente inferiore. Tuttavia, il semplice passaggio a formati di precisione superiore come FP6 è stato particolarmente impegnativo, e quindi trascurato, a causa delle scarse prestazioni dovute alla mancanza di integrazione sofisticata e di strategie di accelerazione del sistema sull'attuale hardware AI. I nostri risultati mostrano che FP6, anche con uno schema di quantizzazione a grana grossa, si comporta in modo robusto su vari algoritmi e compiti, dimostrando la sua superiorità in termini di accuratezza e versatilità. In particolare, con la quantizzazione FP6, il modello \codestar-15B si comporta in modo comparabile alla sua controparte FP16 nella generazione di codice, e per modelli più piccoli come il 406M si avvicina molto ai loro baseline nella sintesi. Nessuno di questi risultati può essere raggiunto con INT4. Per adattarsi meglio a vari hardware AI e ottenere le migliori prestazioni del sistema, proponiamo un nuovo design 4+2 per FP6 per ottenere una latenza simile alla quantizzazione fine-grain INT4 allo stato dell'arte. Con il nostro design, FP6 può diventare una soluzione promettente rispetto agli attuali metodi di quantizzazione a 4 bit utilizzati negli LLM.

English

This study examines 4-bit quantization methods like GPTQ in large language models (LLMs), highlighting GPTQ's overfitting and limited enhancement in Zero-Shot tasks. While prior works merely focusing on zero-shot measurement, we extend task scope to more generative categories such as code generation and abstractive summarization, in which we found that INT4 quantization can significantly underperform. However, simply shifting to higher precision formats like FP6 has been particularly challenging, thus overlooked, due to poor performance caused by the lack of sophisticated integration and system acceleration strategies on current AI hardware. Our results show that FP6, even with a coarse-grain quantization scheme, performs robustly across various algorithms and tasks, demonstrating its superiority in accuracy and versatility. Notably, with the FP6 quantization, \codestar-15B model performs comparably to its FP16 counterpart in code generation, and for smaller models like the 406M it closely matches their baselines in summarization. Neither can be achieved by INT4. To better accommodate various AI hardware and achieve the best system performance, we propose a novel 4+2 design for FP6 to achieve similar latency to the state-of-the-art INT4 fine-grain quantization. With our design, FP6 can become a promising solution to the current 4-bit quantization methods used in LLMs.