ReFT: 言語モデルのための表現ファインチューニング

要旨

パラメータ効率的なファインチューニング（PEFT）手法は、大規模モデルを少数の重みの更新によって適応させることを目指しています。しかし、これまでの多くの解釈可能性研究は、表現が豊かな意味情報をエンコードしていることを示しており、表現を編集することがより強力な代替手段となる可能性を示唆しています。ここでは、この仮説を追求し、表現ファインチューニング（ReFT）手法のファミリーを開発します。ReFT手法は、凍結されたベースモデル上で動作し、隠れ表現に対するタスク固有の介入を学習します。我々は、ReFTファミリーの強力なインスタンスである低ランク線形部分空間ReFT（LoReFT）を定義します。LoReFTは既存のPEFTの代替として使用可能であり、従来の最先端PEFTよりも10倍から50倍パラメータ効率的な介入を学習します。我々は、LoReFTを8つの常識推論タスク、4つの算術推論タスク、Alpaca-Eval v1.0、およびGLUEで実証します。これらの評価において、LoReFTは効率と性能の最適なバランスを提供し、ほぼ常に最先端のPEFTを上回ります。我々は、汎用のReFTトレーニングライブラリをhttps://github.com/stanfordnlp/pyreftで公開しています。

English

Parameter-efficient fine-tuning (PEFT) methods seek to adapt large models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. Here, we pursue this hypothesis by developing a family of Representation Finetuning (ReFT) methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT). LoReFT is a drop-in replacement for existing PEFTs and learns interventions that are 10x-50x more parameter-efficient than prior state-of-the-art PEFTs. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, Alpaca-Eval v1.0, and GLUE. In all these evaluations, LoReFT delivers the best balance of efficiency and performance, and almost always outperforms state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.

ReFT: 言語モデルのための表現ファインチューニング

ReFT: Representation Finetuning for Language Models

要旨

Support