ZeroQuant(4+2): Переосмысление квантования языковых моделей с новой стратегией, ориентированной на FP6, для разнообразных генеративных задач

ZeroQuant(4+2): Redefining LLMs Quantization with a New FP6-Centric Strategy for Diverse Generative Tasks

December 14, 2023

Авторы: Xiaoxia Wu, Haojun Xia, Stephen Youn, Zhen Zheng, Shiyang Chen, Arash Bakhtiari, Michael Wyatt, Yuxiong He, Olatunji Ruwase, Leon Song, Zhewei Yao

cs.AI

Аннотация

В данном исследовании рассматриваются методы 4-битной квантизации, такие как GPTQ, в крупных языковых моделях (LLM), подчеркивая склонность GPTQ к переобучению и ограниченное улучшение в задачах Zero-Shot. В то время как предыдущие работы фокусировались исключительно на измерениях в режиме zero-shot, мы расширяем спектр задач до более генеративных категорий, таких как генерация кода и абстрактное суммирование, в которых обнаружили, что INT4-квантизация может значительно уступать по производительности. Однако переход к более высоким форматам точности, таким как FP6, оказался особенно сложным и часто игнорировался из-за низкой производительности, вызванной отсутствием сложной интеграции и стратегий ускорения на современном аппаратном обеспечении для ИИ. Наши результаты показывают, что FP6, даже с грубой схемой квантизации, демонстрирует устойчивую производительность в различных алгоритмах и задачах, подтверждая его превосходство в точности и универсальности. В частности, при использовании FP6-квантизации модель \codestar-15B показывает сопоставимые результаты с её FP16-аналогом в генерации кода, а для более мелких моделей, таких как 406M, она близка к их базовым показателям в задачах суммирования. Ничего подобного не удается достичь с INT4. Для лучшей адаптации к различному аппаратному обеспечению ИИ и достижения наилучшей системной производительности мы предлагаем новую 4+2 схему для FP6, которая обеспечивает задержку, сравнимую с современной INT4-квантизацией с мелкой гранулярностью. С нашей разработкой FP6 может стать перспективным решением для текущих методов 4-битной квантизации, используемых в LLM.

English

This study examines 4-bit quantization methods like GPTQ in large language models (LLMs), highlighting GPTQ's overfitting and limited enhancement in Zero-Shot tasks. While prior works merely focusing on zero-shot measurement, we extend task scope to more generative categories such as code generation and abstractive summarization, in which we found that INT4 quantization can significantly underperform. However, simply shifting to higher precision formats like FP6 has been particularly challenging, thus overlooked, due to poor performance caused by the lack of sophisticated integration and system acceleration strategies on current AI hardware. Our results show that FP6, even with a coarse-grain quantization scheme, performs robustly across various algorithms and tasks, demonstrating its superiority in accuracy and versatility. Notably, with the FP6 quantization, \codestar-15B model performs comparably to its FP16 counterpart in code generation, and for smaller models like the 406M it closely matches their baselines in summarization. Neither can be achieved by INT4. To better accommodate various AI hardware and achieve the best system performance, we propose a novel 4+2 design for FP6 to achieve similar latency to the state-of-the-art INT4 fine-grain quantization. With our design, FP6 can become a promising solution to the current 4-bit quantization methods used in LLMs.