GIFT-SW: LLMs의 중요 가중치를 미세 조정하기 위한 가우시안 노이즈 주입

GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs

August 27, 2024

저자: Maxim Zhelnin, Viktor Moskvoretskii, Egor Shvetsov, Egor Venediktov, Mariya Krylova, Aleksandr Zuev, Evgeny Burnaev

cs.AI

초록

파라미터 효율적인 미세 조정(PEFT) 방법은 대형 언어 모델(LLM)의 사용을 대중화시키고 인기를 얻었습니다. 최근 연구에서는 일부 가중치의 소규모 하위 집합이 성능에 큰 영향을 미친다는 것을 보여주었습니다. 이 관찰을 기반으로, 우리는 새로운 PEFT 방법인 중요 가중치에 가우시안 노이즈를 주입하는 Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW) 방법을 소개합니다. 우리의 방법은 중요한 열만 업데이트하고 중요하지 않은 열에 가우시안 노이즈를 주입합니다. 이러한 열을 식별하기 위해, 이전 연구에서의 측정 항목을 확장하고 통합하는 일반화된 민감도 측정 항목을 개발했습니다. LLaMA 모델을 사용한 실험 결과, GIFT-SW가 동일한 계산 예산 하에서 완전한 미세 조정 및 최신 PEFT 방법을 능가함을 보여줍니다. 게다가, GIFT-SW는 중요한 가중치를 완전한 정밀도로 유지하면서 혼합 정밀도 양자화를 받은 모델의 성능을 회복하는 실용적인 장점을 제공합니다.

English

Parameter Efficient Fine-Tuning (PEFT) methods have gained popularity and democratized the usage of Large Language Models (LLMs). Recent studies have shown that a small subset of weights significantly impacts performance. Based on this observation, we introduce a novel PEFT method, called Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW). Our method updates only salient columns, while injecting Gaussian noise into non-salient ones. To identify these columns, we developeda generalized sensitivity metric that extends and unifies metrics from previous studies. Experiments with LLaMA models demonstrate that GIFT-SW outperforms full fine-tuning and modern PEFT methods under the same computational budget. Moreover, GIFT-SW offers practical advantages to recover performance of models subjected to mixed-precision quantization with keeping salient weights in full precision.