MixLLM: Квантование LLM с глобальным смешанным точным представлением между выходными признаками и высокоэффективным системным проектированием.

MixLLM: LLM Quantization with Global Mixed-precision between Output-features and Highly-efficient System Design

December 19, 2024

Авторы: Zhen Zheng, Xiaonan Song, Chuanjie Liu

cs.AI

Аннотация

Квантование стало одной из наиболее эффективных методик сжатия LLMs до более компактного размера. Однако существующие решения квантования все еще показывают ограничения в виде либо значительного снижения точности, либо неэффективности системы. В данной статье мы проводим всесторонний анализ общих принципов квантования на их влияние на треугольник точности, потребления памяти и эффективности системы. Мы предлагаем MixLLM, который исследует новое пространство оптимизации смешанного квантования точности между выходными признаками на основе идеи о том, что различные выходные признаки имеют различное значение в модели. MixLLM выделяет выходные признаки с высокой значимостью в глобальном контексте, а не в каждом отдельном слое, эффективно назначая большую разрядность выходным признакам, которым это наиболее необходимо, для достижения хорошей точности при низком потреблении памяти. Мы представляем оптимальную конфигурацию квантования алгоритма и системы, которая обеспечивает высокую точность и эффективность системы. Для решения проблемы системы мы разрабатываем двухэтапное деквантование для удобного использования int8 Tensor Core и быстрой конвертации типов данных для существенного снижения накладных расходов деквантования, а также представляем программный конвейер для наилучшего перекрытия доступа к памяти, деквантования и MatMul. Обширные эксперименты показывают, что всего с 10% большим количеством битов увеличение PPL может быть снижено с примерно 0.5 в SOTA до значения в пределах 0.2 для Llama 3.1 70B, в то время как в среднем MMLU-Pro улучшает SOTA трех популярных моделей на 0.93. Помимо превосходной точности, MixLLM также достигает передовой системной эффективности.

English

Quantization has become one of the most effective methodologies to compress LLMs into smaller size. However, the existing quantization solutions still show limitations of either non-negligible accuracy drop or system inefficiency. In this paper, we make a comprehensive analysis of the general quantization principles on their effect to the triangle of accuracy, memory consumption and system efficiency. We propose MixLLM that explores the new optimization space of mixed-precision quantization between output features based on the insight that different output features matter differently in the model. MixLLM identifies the output features with high salience in the global view rather than within each single layer, effectively assigning the larger bit-width to output features that need it most to achieve good accuracy with low memory consumption. We present the sweet spot of quantization configuration of algorithm-system co-design that leads to high accuracy and system efficiency. To address the system challenge, we design the two-step dequantization to make use of the int8 Tensor Core easily and fast data type conversion to reduce dequantization overhead significantly, and present the software pipeline to overlap the memory access, dequantization and the MatMul to the best. Extensive experiments show that with only 10% more bits, the PPL increasement can be reduced from about 0.5 in SOTA to within 0.2 for Llama 3.1 70B, while on average MMLU-Pro improves by 0.93 over the SOTA of three popular models. In addition to its superior accuracy, MixLLM also achieves state-of-the-art system efficiency.