LoftQ: LoRA-finetuning-bewusste Quantisierung für große Sprachmodelle

LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

October 12, 2023

Autoren: Yixiao Li, Yifan Yu, Chen Liang, Pengcheng He, Nikos Karampatziakis, Weizhu Chen, Tuo Zhao

cs.AI

Zusammenfassung

Quantisierung ist eine unverzichtbare Technik für den Einsatz von Large Language Models (LLMs) und hat kürzlich auch Einzug in das LoRA-Fine-Tuning gefunden. In dieser Arbeit konzentrieren wir uns auf das Szenario, in dem Quantisierung und LoRA-Fine-Tuning gemeinsam auf ein vortrainiertes Modell angewendet werden. In solchen Fällen ist es üblich, eine konsistente Leistungslücke bei Downstream-Aufgaben zwischen dem vollständigen Fine-Tuning und dem Ansatz der Quantisierung plus LoRA-Fine-Tuning zu beobachten. Als Antwort darauf schlagen wir LoftQ (LoRA-Fine-Tuning-aware Quantization) vor, ein neuartiges Quantisierungsframework, das gleichzeitig ein LLM quantisiert und eine geeignete Low-Rank-Initialisierung für das LoRA-Fine-Tuning findet. Eine solche Initialisierung mildert die Diskrepanz zwischen dem quantisierten und dem vollpräzisen Modell und verbessert die Generalisierung bei Downstream-Aufgaben erheblich. Wir evaluieren unsere Methode anhand von Aufgaben zum natürlichen Sprachverständnis, zur Fragebeantwortung, zur Zusammenfassung und zur natürlichen Sprachgenerierung. Experimente zeigen, dass unsere Methode äußerst effektiv ist und bestehende Quantisierungsmethoden übertrifft, insbesondere in den anspruchsvollen 2-Bit- und 2/4-Bit-Mixed-Precision-Regimen. Wir werden unseren Code veröffentlichen.

English

Quantization is an indispensable technique for serving Large Language Models (LLMs) and has recently found its way into LoRA fine-tuning. In this work we focus on the scenario where quantization and LoRA fine-tuning are applied together on a pre-trained model. In such cases it is common to observe a consistent gap in the performance on downstream tasks between full fine-tuning and quantization plus LoRA fine-tuning approach. In response, we propose LoftQ (LoRA-Fine-Tuning-aware Quantization), a novel quantization framework that simultaneously quantizes an LLM and finds a proper low-rank initialization for LoRA fine-tuning. Such an initialization alleviates the discrepancy between the quantized and full-precision model and significantly improves the generalization in downstream tasks. We evaluate our method on natural language understanding, question answering, summarization, and natural language generation tasks. Experiments show that our method is highly effective and outperforms existing quantization methods, especially in the challenging 2-bit and 2/4-bit mixed precision regimes. We will release our code.