LoftQ: Квантование с учетом тонкой настройки LoRA для крупных языковых моделей

LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

October 12, 2023

Авторы: Yixiao Li, Yifan Yu, Chen Liang, Pengcheng He, Nikos Karampatziakis, Weizhu Chen, Tuo Zhao

cs.AI

Аннотация

Квантование является незаменимой техникой для обслуживания больших языковых моделей (LLM) и недавно нашло применение в тонкой настройке с использованием LoRA. В данной работе мы сосредоточимся на сценарии, где квантование и тонкая настройка LoRA применяются совместно на предварительно обученной модели. В таких случаях часто наблюдается устойчивый разрыв в производительности на последующих задачах между полной тонкой настройкой и подходом, сочетающим квантование с тонкой настройкой LoRA. В ответ на это мы предлагаем LoftQ (LoRA-Fine-Tuning-aware Quantization), новую структуру квантования, которая одновременно квантует LLM и находит подходящую низкоранговую инициализацию для тонкой настройки LoRA. Такая инициализация уменьшает расхождение между квантованной и полной точностью модели и значительно улучшает обобщение на последующих задачах. Мы оцениваем наш метод на задачах понимания естественного языка, ответов на вопросы, суммирования и генерации естественного языка. Эксперименты показывают, что наш метод высокоэффективен и превосходит существующие методы квантования, особенно в сложных режимах 2-битного и 2/4-битного смешанного представления. Мы опубликуем наш код.

English

Quantization is an indispensable technique for serving Large Language Models (LLMs) and has recently found its way into LoRA fine-tuning. In this work we focus on the scenario where quantization and LoRA fine-tuning are applied together on a pre-trained model. In such cases it is common to observe a consistent gap in the performance on downstream tasks between full fine-tuning and quantization plus LoRA fine-tuning approach. In response, we propose LoftQ (LoRA-Fine-Tuning-aware Quantization), a novel quantization framework that simultaneously quantizes an LLM and finds a proper low-rank initialization for LoRA fine-tuning. Such an initialization alleviates the discrepancy between the quantized and full-precision model and significantly improves the generalization in downstream tasks. We evaluate our method on natural language understanding, question answering, summarization, and natural language generation tasks. Experiments show that our method is highly effective and outperforms existing quantization methods, especially in the challenging 2-bit and 2/4-bit mixed precision regimes. We will release our code.