Indica al tuo modello dove prestare attenzione: guida post-hoc dell'attenzione per i LLM

Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs

November 3, 2023

Autori: Qingru Zhang, Chandan Singh, Liyuan Liu, Xiaodong Liu, Bin Yu, Jianfeng Gao, Tuo Zhao

cs.AI

Abstract

Negli articoli scritti da esseri umani, sfruttiamo spesso le sottigliezze dello stile testuale, come il grassetto e il corsivo, per guidare l'attenzione dei lettori. Questi enfasi testuali sono fondamentali affinché i lettori possano cogliere le informazioni trasmesse. Quando interagiamo con i grandi modelli linguistici (LLM), abbiamo un'esigenza simile: indirizzare il modello a prestare maggiore attenzione alle informazioni specificate dall'utente, ad esempio un'istruzione. I metodi esistenti, tuttavia, sono limitati a elaborare testo semplice e non supportano un tale meccanismo. Questo ci ha spinto a introdurre PASTA - Post-hoc Attention STeering Approach, un metodo che consente agli LLM di leggere il testo con enfasi specificate dall'utente. A tal fine, PASTA identifica un piccolo sottoinsieme di testate di attenzione e applica un preciso ri-ponderazione dell'attenzione su di esse, dirigendo l'attenzione del modello verso le parti specificate dall'utente. Come il prompting, PASTA viene applicato al momento dell'inferenza e non richiede la modifica di alcun parametro del modello. Gli esperimenti dimostrano che PASTA può migliorare sostanzialmente la capacità di un LLM di seguire le istruzioni dell'utente o integrare nuove conoscenze dagli input dell'utente, portando a un significativo miglioramento delle prestazioni in una varietà di compiti, ad esempio un miglioramento medio dell'accuratezza del 22% per LLAMA-7B. Il nostro codice è disponibile pubblicamente all'indirizzo https://github.com/QingruZhang/PASTA.

English

In human-written articles, we often leverage the subtleties of text style, such as bold and italics, to guide the attention of readers. These textual emphases are vital for the readers to grasp the conveyed information. When interacting with large language models (LLMs), we have a similar need - steering the model to pay closer attention to user-specified information, e.g., an instruction. Existing methods, however, are constrained to process plain text and do not support such a mechanism. This motivates us to introduce PASTA - Post-hoc Attention STeering Approach, a method that allows LLMs to read text with user-specified emphasis marks. To this end, PASTA identifies a small subset of attention heads and applies precise attention reweighting on them, directing the model attention to user-specified parts. Like prompting, PASTA is applied at inference time and does not require changing any model parameters. Experiments demonstrate that PASTA can substantially enhance an LLM's ability to follow user instructions or integrate new knowledge from user inputs, leading to a significant performance improvement on a variety of tasks, e.g., an average accuracy improvement of 22% for LLAMA-7B. Our code is publicly available at https://github.com/QingruZhang/PASTA .