GIFT-SW: LLMsの注目すべき重みの微調整のためのガウスノイズ注入

GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs

August 27, 2024

著者: Maxim Zhelnin, Viktor Moskvoretskii, Egor Shvetsov, Egor Venediktov, Mariya Krylova, Aleksandr Zuev, Evgeny Burnaev

cs.AI

要旨

パラメータ効率の高いファインチューニング（PEFT）手法は人気を博し、大規模言語モデル（LLM）の使用を民主化しています。最近の研究では、わずかなウェイトのサブセットが性能に大きな影響を与えることが示されています。この観察に基づき、私たちは新しいPEFT手法である顕著なウェイトのガウスノイズ注入ファインチューニング（GIFT-SW）を紹介します。当該手法は、顕著な列のみを更新し、非顕著な列にはガウスノイズを注入します。これらの列を特定するために、以前の研究からのメトリクスを拡張し統一する汎用感度メトリクスを開発しました。LLaMAモデルを用いた実験では、GIFT-SWが同じ計算予算の下で完全なファインチューニングや現代のPEFT手法を上回ることが示されました。さらに、GIFT-SWは、顕著なウェイトを完全精度で保持しながら、混合精度量子化の影響を受けたモデルの性能を回復するという実用的な利点を提供します。

English

Parameter Efficient Fine-Tuning (PEFT) methods have gained popularity and democratized the usage of Large Language Models (LLMs). Recent studies have shown that a small subset of weights significantly impacts performance. Based on this observation, we introduce a novel PEFT method, called Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW). Our method updates only salient columns, while injecting Gaussian noise into non-salient ones. To identify these columns, we developeda generalized sensitivity metric that extends and unifies metrics from previous studies. Experiments with LLaMA models demonstrate that GIFT-SW outperforms full fine-tuning and modern PEFT methods under the same computational budget. Moreover, GIFT-SW offers practical advantages to recover performance of models subjected to mixed-precision quantization with keeping salient weights in full precision.