ZeroQuant(4+2): Herdefiniëring van LLM-kwantisering met een nieuwe FP6-gerichte strategie voor diverse generatieve taken

ZeroQuant(4+2): Redefining LLMs Quantization with a New FP6-Centric Strategy for Diverse Generative Tasks

December 14, 2023

Auteurs: Xiaoxia Wu, Haojun Xia, Stephen Youn, Zhen Zheng, Shiyang Chen, Arash Bakhtiari, Michael Wyatt, Yuxiong He, Olatunji Ruwase, Leon Song, Zhewei Yao

cs.AI

Samenvatting

Dit onderzoek bestudeert 4-bit kwantiseringsmethoden zoals GPTQ in grote taalmodelen (LLMs), waarbij de overfitting en beperkte verbetering van GPTQ in Zero-Shot taken worden belicht. Terwijl eerdere werken zich enkel richtten op zero-shot metingen, breiden wij het takenbereik uit naar meer generatieve categorieën zoals codegeneratie en abstractieve samenvatting, waarin we ontdekten dat INT4-kwantisering aanzienlijk kan onderpresteren. Echter, het simpelweg overschakelen naar hogere precisieformaten zoals FP6 is bijzonder uitdagend geweest en daardoor over het hoofd gezien, vanwege slechte prestaties veroorzaakt door het gebrek aan geavanceerde integratie- en systeemversnellingsstrategieën op huidige AI-hardware. Onze resultaten tonen aan dat FP6, zelfs met een grofkorrelig kwantiseringsschema, robuust presteert over verschillende algoritmen en taken, wat de superioriteit in nauwkeurigheid en veelzijdigheid aantoont. Opmerkelijk is dat met de FP6-kwantisering het \codestar-15B model vergelijkbaar presteert met zijn FP16-tegenhanger in codegeneratie, en voor kleinere modellen zoals de 406M dicht bij hun basislijnen komt in samenvatting. Geen van beide kan worden bereikt door INT4. Om beter aan te sluiten bij verschillende AI-hardware en de beste systeemprestaties te bereiken, stellen we een nieuw 4+2 ontwerp voor FP6 voor om een vergelijkbare latentie te bereiken als de state-of-the-art INT4 fijnkorrelige kwantisering. Met ons ontwerp kan FP6 een veelbelovende oplossing worden voor de huidige 4-bit kwantiseringsmethoden die in LLMs worden gebruikt.

English

This study examines 4-bit quantization methods like GPTQ in large language models (LLMs), highlighting GPTQ's overfitting and limited enhancement in Zero-Shot tasks. While prior works merely focusing on zero-shot measurement, we extend task scope to more generative categories such as code generation and abstractive summarization, in which we found that INT4 quantization can significantly underperform. However, simply shifting to higher precision formats like FP6 has been particularly challenging, thus overlooked, due to poor performance caused by the lack of sophisticated integration and system acceleration strategies on current AI hardware. Our results show that FP6, even with a coarse-grain quantization scheme, performs robustly across various algorithms and tasks, demonstrating its superiority in accuracy and versatility. Notably, with the FP6 quantization, \codestar-15B model performs comparably to its FP16 counterpart in code generation, and for smaller models like the 406M it closely matches their baselines in summarization. Neither can be achieved by INT4. To better accommodate various AI hardware and achieve the best system performance, we propose a novel 4+2 design for FP6 to achieve similar latency to the state-of-the-art INT4 fine-grain quantization. With our design, FP6 can become a promising solution to the current 4-bit quantization methods used in LLMs.