ZeroQuant(4+2): Neudefinition der Quantisierung von LLMs mit einer neuen FP6-zentrierten Strategie für vielfältige generative Aufgaben

ZeroQuant(4+2): Redefining LLMs Quantization with a New FP6-Centric Strategy for Diverse Generative Tasks

December 14, 2023

Autoren: Xiaoxia Wu, Haojun Xia, Stephen Youn, Zhen Zheng, Shiyang Chen, Arash Bakhtiari, Michael Wyatt, Yuxiong He, Olatunji Ruwase, Leon Song, Zhewei Yao

cs.AI

Zusammenfassung

Diese Studie untersucht 4-Bit-Quantisierungsmethoden wie GPTQ in großen Sprachmodellen (LLMs) und hebt dabei die Überanpassung von GPTQ sowie die begrenzte Verbesserung in Zero-Shot-Aufgaben hervor. Während sich frühere Arbeiten lediglich auf die Messung von Zero-Shot-Leistungen konzentrierten, erweitern wir den Aufgabenbereich auf mehr generative Kategorien wie Code-Generierung und abstraktive Zusammenfassung, bei denen wir feststellten, dass INT4-Quantisierung erheblich schlechter abschneiden kann. Der einfache Wechsel zu höherpräzisen Formaten wie FP6 wurde jedoch aufgrund der mangelnden Integration und Systembeschleunigungsstrategien auf aktueller KI-Hardware, die zu schlechter Leistung führen, besonders herausfordernd und daher übersehen. Unsere Ergebnisse zeigen, dass FP6 selbst mit einem grobkörnigen Quantisierungsschema robust über verschiedene Algorithmen und Aufgaben hinweg abschneidet und seine Überlegenheit in Genauigkeit und Vielseitigkeit demonstriert. Bemerkenswerterweise erreicht das \codestar-15B-Modell mit FP6-Quantisierung eine vergleichbare Leistung wie sein FP16-Pendant in der Code-Generierung, und für kleinere Modelle wie das 406M-Modell wird die Baseline-Leistung in der Zusammenfassung nahezu erreicht. Beides kann mit INT4 nicht erreicht werden. Um verschiedene KI-Hardware besser zu unterstützen und die beste Systemleistung zu erzielen, schlagen wir ein neuartiges 4+2-Design für FP6 vor, das eine ähnliche Latenz wie die state-of-the-art INT4-Feingranularitätsquantisierung erreicht. Mit unserem Design kann FP6 eine vielversprechende Lösung für die derzeit in LLMs verwendeten 4-Bit-Quantisierungsmethoden werden.

English

This study examines 4-bit quantization methods like GPTQ in large language models (LLMs), highlighting GPTQ's overfitting and limited enhancement in Zero-Shot tasks. While prior works merely focusing on zero-shot measurement, we extend task scope to more generative categories such as code generation and abstractive summarization, in which we found that INT4 quantization can significantly underperform. However, simply shifting to higher precision formats like FP6 has been particularly challenging, thus overlooked, due to poor performance caused by the lack of sophisticated integration and system acceleration strategies on current AI hardware. Our results show that FP6, even with a coarse-grain quantization scheme, performs robustly across various algorithms and tasks, demonstrating its superiority in accuracy and versatility. Notably, with the FP6 quantization, \codestar-15B model performs comparably to its FP16 counterpart in code generation, and for smaller models like the 406M it closely matches their baselines in summarization. Neither can be achieved by INT4. To better accommodate various AI hardware and achieve the best system performance, we propose a novel 4+2 design for FP6 to achieve similar latency to the state-of-the-art INT4 fine-grain quantization. With our design, FP6 can become a promising solution to the current 4-bit quantization methods used in LLMs.