ReFT: Feinanpassung der Repräsentation für Sprachmodelle

ReFT: Representation Finetuning for Language Models

April 4, 2024

Autoren: Zhengxuan Wu, Aryaman Arora, Zheng Wang, Atticus Geiger, Dan Jurafsky, Christopher D. Manning, Christopher Potts

cs.AI

Zusammenfassung

Methoden zur parameter-effizienten Feinabstimmung (PEFT) zielen darauf ab, große Modelle durch Aktualisierungen einer geringen Anzahl von Gewichten anzupassen. Allerdings haben viele frühere Arbeiten zur Interpretierbarkeit gezeigt, dass Repräsentationen reiche semantische Informationen codieren, was darauf hindeutet, dass die Bearbeitung von Repräsentationen eine leistungsstärkere Alternative sein könnte. Hier verfolgen wir diese Hypothese, indem wir eine Familie von Repräsentationsfeinabstimmungs (ReFT) Methoden entwickeln. ReFT Methoden arbeiten mit einem eingefrorenen Basismodell und lernen aufgabenbezogene Interventionen auf versteckten Repräsentationen. Wir definieren eine starke Instanz der ReFT-Familie, die Low-Rank Lineare Unterraum ReFT (LoReFT). LoReFT ist ein Plug-and-Play-Ersatz für bestehende PEFTs und lernt Interventionen, die 10x-50x parameter-effizienter sind als bisherige state-of-the-art PEFTs. Wir präsentieren LoReFT anhand von acht Aufgaben zum gesunden Menschenverstand, vier Aufgaben zur arithmetischen Schlussfolgerung, Alpaca-Eval v1.0 und GLUE. In all diesen Bewertungen bietet LoReFT das beste Gleichgewicht zwischen Effizienz und Leistung und übertrifft fast immer state-of-the-art PEFTs. Wir veröffentlichen eine generische ReFT-Trainingsbibliothek öffentlich unter https://github.com/stanfordnlp/pyreft.

English

Parameter-efficient fine-tuning (PEFT) methods seek to adapt large models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. Here, we pursue this hypothesis by developing a family of Representation Finetuning (ReFT) methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT). LoReFT is a drop-in replacement for existing PEFTs and learns interventions that are 10x-50x more parameter-efficient than prior state-of-the-art PEFTs. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, Alpaca-Eval v1.0, and GLUE. In all these evaluations, LoReFT delivers the best balance of efficiency and performance, and almost always outperforms state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.