Diga ao Seu Modelo Onde Prestar Atenção: Controle Pós-treino de Atenção para LLMs

Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs

November 3, 2023

Autores: Qingru Zhang, Chandan Singh, Liyuan Liu, Xiaodong Liu, Bin Yu, Jianfeng Gao, Tuo Zhao

cs.AI

Resumo

Em artigos escritos por humanos, frequentemente utilizamos as sutilezas do estilo de texto, como negrito e itálico, para guiar a atenção dos leitores. Essas ênfases textuais são essenciais para que os leitores compreendam as informações transmitidas. Ao interagir com modelos de linguagem de grande escala (LLMs, na sigla em inglês), temos uma necessidade semelhante - direcionar o modelo a prestar mais atenção a informações especificadas pelo usuário, por exemplo, uma instrução. No entanto, os métodos existentes estão limitados a processar texto simples e não suportam tal mecanismo. Isso nos motiva a introduzir o PASTA - Post-hoc Attention STeering Approach, um método que permite que LLMs leiam texto com marcas de ênfase especificadas pelo usuário. Para isso, o PASTA identifica um pequeno subconjunto de cabeças de atenção e aplica um reajuste preciso de atenção nelas, direcionando a atenção do modelo para partes especificadas pelo usuário. Assim como o prompting, o PASTA é aplicado no momento da inferência e não requer alterações nos parâmetros do modelo. Experimentos demonstram que o PASTA pode aprimorar substancialmente a capacidade de um LLM de seguir instruções do usuário ou integrar novos conhecimentos a partir de entradas do usuário, resultando em uma melhoria significativa de desempenho em uma variedade de tarefas, por exemplo, uma melhoria média de 22% na precisão para o LLAMA-7B. Nosso código está disponível publicamente em https://github.com/QingruZhang/PASTA.

English

In human-written articles, we often leverage the subtleties of text style, such as bold and italics, to guide the attention of readers. These textual emphases are vital for the readers to grasp the conveyed information. When interacting with large language models (LLMs), we have a similar need - steering the model to pay closer attention to user-specified information, e.g., an instruction. Existing methods, however, are constrained to process plain text and do not support such a mechanism. This motivates us to introduce PASTA - Post-hoc Attention STeering Approach, a method that allows LLMs to read text with user-specified emphasis marks. To this end, PASTA identifies a small subset of attention heads and applies precise attention reweighting on them, directing the model attention to user-specified parts. Like prompting, PASTA is applied at inference time and does not require changing any model parameters. Experiments demonstrate that PASTA can substantially enhance an LLM's ability to follow user instructions or integrate new knowledge from user inputs, leading to a significant performance improvement on a variety of tasks, e.g., an average accuracy improvement of 22% for LLAMA-7B. Our code is publicly available at https://github.com/QingruZhang/PASTA .