ReFT: 언어 모델을 위한 표현 미세 조정

ReFT: Representation Finetuning for Language Models

April 4, 2024

저자: Zhengxuan Wu, Aryaman Arora, Zheng Wang, Atticus Geiger, Dan Jurafsky, Christopher D. Manning, Christopher Potts

cs.AI

초록

파라미터 효율적 미세 조정(PEFT) 방법은 적은 수의 가중치 업데이트를 통해 대규모 모델을 적응시키려고 합니다. 그러나 많은 선행 해석 가능성 연구에서 표현(representations)이 풍부한 의미 정보를 인코딩한다는 것을 보여주었으며, 이는 표현을 편집하는 것이 더 강력한 대안일 수 있음을 시사합니다. 여기서 우리는 이 가설을 추구하기 위해 표현 미세 조정(Representation Finetuning, ReFT) 방법군을 개발합니다. ReFT 방법은 고정된 기본 모델에서 작동하며 숨겨진 표현에 대한 작업별 개입을 학습합니다. 우리는 ReFT 방법군의 강력한 인스턴스인 저차원 선형 부분공간 ReFT(Low-rank Linear Subspace ReFT, LoReFT)를 정의합니다. LoReFT는 기존 PEFT를 대체할 수 있는 드롭인(drop-in) 방식이며, 최신 PEFT보다 10배에서 50배 더 파라미터 효율적인 개입을 학습합니다. 우리는 LoReFT를 8개의 상식 추론 작업, 4개의 산술 추론 작업, Alpaca-Eval v1.0, 그리고 GLUE에서 시연합니다. 이 모든 평가에서 LoReFT는 효율성과 성능의 최적 균형을 제공하며, 거의 항상 최신 PEFT를 능가합니다. 우리는 일반적인 ReFT 학습 라이브러리를 https://github.com/stanfordnlp/pyreft에서 공개적으로 제공합니다.

English

Parameter-efficient fine-tuning (PEFT) methods seek to adapt large models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. Here, we pursue this hypothesis by developing a family of Representation Finetuning (ReFT) methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT). LoReFT is a drop-in replacement for existing PEFTs and learns interventions that are 10x-50x more parameter-efficient than prior state-of-the-art PEFTs. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, Alpaca-Eval v1.0, and GLUE. In all these evaluations, LoReFT delivers the best balance of efficiency and performance, and almost always outperforms state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.