ReFT: Ajuste fino de representaciones para modelos de lenguaje

ReFT: Representation Finetuning for Language Models

April 4, 2024

Autores: Zhengxuan Wu, Aryaman Arora, Zheng Wang, Atticus Geiger, Dan Jurafsky, Christopher D. Manning, Christopher Potts

cs.AI

Resumen

Los métodos de ajuste fino eficiente en parámetros (PEFT, por sus siglas en inglés) buscan adaptar modelos grandes mediante actualizaciones a un número reducido de pesos. Sin embargo, gran parte del trabajo previo en interpretabilidad ha demostrado que las representaciones codifican información semántica rica, lo que sugiere que editar representaciones podría ser una alternativa más poderosa. Aquí, exploramos esta hipótesis desarrollando una familia de métodos de Ajuste Fino de Representaciones (ReFT, por sus siglas en inglés). Los métodos ReFT operan sobre un modelo base congelado y aprenden intervenciones específicas para la tarea en las representaciones ocultas. Definimos una instancia sólida de la familia ReFT, el Ajuste Fino de Subespacio Lineal de Bajo Rango (LoReFT, por sus siglas en inglés). LoReFT es un reemplazo directo para los PEFTs existentes y aprende intervenciones que son 10x-50x más eficientes en parámetros que los PEFTs más avanzados anteriores. Mostramos LoReFT en ocho tareas de razonamiento de sentido común, cuatro tareas de razonamiento aritmético, Alpaca-Eval v1.0 y GLUE. En todas estas evaluaciones, LoReFT ofrece el mejor equilibrio entre eficiencia y rendimiento, y casi siempre supera a los PEFTs más avanzados. Publicamos una biblioteca genérica de entrenamiento ReFT en https://github.com/stanfordnlp/pyreft.

English

Parameter-efficient fine-tuning (PEFT) methods seek to adapt large models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. Here, we pursue this hypothesis by developing a family of Representation Finetuning (ReFT) methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT). LoReFT is a drop-in replacement for existing PEFTs and learns interventions that are 10x-50x more parameter-efficient than prior state-of-the-art PEFTs. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, Alpaca-Eval v1.0, and GLUE. In all these evaluations, LoReFT delivers the best balance of efficiency and performance, and almost always outperforms state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.