Dirige la Atención de Tu Modelo: Control Post-hoc de la Atención para Modelos de Lenguaje Grandes

Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs

November 3, 2023

Autores: Qingru Zhang, Chandan Singh, Liyuan Liu, Xiaodong Liu, Bin Yu, Jianfeng Gao, Tuo Zhao

cs.AI

Resumen

En los artículos escritos por humanos, a menudo aprovechamos las sutilezas del estilo de texto, como la negrita y la cursiva, para guiar la atención de los lectores. Estos énfasis textuales son fundamentales para que los lectores comprendan la información transmitida. Al interactuar con modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), surge una necesidad similar: dirigir el modelo para que preste mayor atención a la información especificada por el usuario, por ejemplo, una instrucción. Sin embargo, los métodos existentes están limitados a procesar texto plano y no admiten dicho mecanismo. Esto nos motiva a introducir PASTA - Post-hoc Attention STeering Approach (Enfoque de Dirección de Atención Post-hoc), un método que permite a los LLMs leer texto con marcas de énfasis especificadas por el usuario. Para ello, PASTA identifica un subconjunto pequeño de cabezas de atención y aplica una reasignación precisa de la atención en ellas, dirigiendo la atención del modelo hacia las partes especificadas por el usuario. Al igual que el prompting, PASTA se aplica en tiempo de inferencia y no requiere modificar ningún parámetro del modelo. Los experimentos demuestran que PASTA puede mejorar sustancialmente la capacidad de un LLM para seguir instrucciones del usuario o integrar nuevos conocimientos a partir de entradas del usuario, lo que conduce a una mejora significativa en el rendimiento en una variedad de tareas, por ejemplo, una mejora promedio en la precisión del 22% para LLAMA-7B. Nuestro código está disponible públicamente en https://github.com/QingruZhang/PASTA.

English

In human-written articles, we often leverage the subtleties of text style, such as bold and italics, to guide the attention of readers. These textual emphases are vital for the readers to grasp the conveyed information. When interacting with large language models (LLMs), we have a similar need - steering the model to pay closer attention to user-specified information, e.g., an instruction. Existing methods, however, are constrained to process plain text and do not support such a mechanism. This motivates us to introduce PASTA - Post-hoc Attention STeering Approach, a method that allows LLMs to read text with user-specified emphasis marks. To this end, PASTA identifies a small subset of attention heads and applies precise attention reweighting on them, directing the model attention to user-specified parts. Like prompting, PASTA is applied at inference time and does not require changing any model parameters. Experiments demonstrate that PASTA can substantially enhance an LLM's ability to follow user instructions or integrate new knowledge from user inputs, leading to a significant performance improvement on a variety of tasks, e.g., an average accuracy improvement of 22% for LLAMA-7B. Our code is publicly available at https://github.com/QingruZhang/PASTA .