Stuur je model waar het aandacht aan moet besteden: Post-hoc aandachtsturing voor grote taalmodellen

Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs

November 3, 2023

Auteurs: Qingru Zhang, Chandan Singh, Liyuan Liu, Xiaodong Liu, Bin Yu, Jianfeng Gao, Tuo Zhao

cs.AI

Samenvatting

In door mensen geschreven artikelen maken we vaak gebruik van de subtiliteiten van tekststijl, zoals vetgedrukte en cursieve tekst, om de aandacht van lezers te sturen. Deze tekstuele nadruk is essentieel voor lezers om de overgebrachte informatie te begrijpen. Bij interactie met grote taalmodellen (LLM's) hebben we een vergelijkbare behoefte: het sturen van het model om meer aandacht te besteden aan door de gebruiker gespecificeerde informatie, bijvoorbeeld een instructie. Bestaande methoden zijn echter beperkt tot het verwerken van platte tekst en ondersteunen een dergelijk mechanisme niet. Dit motiveert ons om PASTA te introduceren - Post-hoc Attention STeering Approach, een methode die LLM's in staat stelt tekst te lezen met door de gebruiker gespecificeerde nadruksmarkeringen. Hiertoe identificeert PASTA een kleine subset van aandachtskoppen en past precieze aandachtherweging toe op deze koppen, waardoor de aandacht van het model wordt gericht op door de gebruiker gespecificeerde delen. Net als bij prompting wordt PASTA toegepast tijdens de inferentie en is het niet nodig om modelparameters te wijzigen. Experimenten tonen aan dat PASTA het vermogen van een LLM om gebruikersinstructies te volgen of nieuwe kennis uit gebruikersinvoer te integreren aanzienlijk kan verbeteren, wat leidt tot een significante prestatieverbetering bij een verscheidenheid aan taken, bijvoorbeeld een gemiddelde nauwkeurigheidsverbetering van 22% voor LLAMA-7B. Onze code is openbaar beschikbaar op https://github.com/QingruZhang/PASTA.

English

In human-written articles, we often leverage the subtleties of text style, such as bold and italics, to guide the attention of readers. These textual emphases are vital for the readers to grasp the conveyed information. When interacting with large language models (LLMs), we have a similar need - steering the model to pay closer attention to user-specified information, e.g., an instruction. Existing methods, however, are constrained to process plain text and do not support such a mechanism. This motivates us to introduce PASTA - Post-hoc Attention STeering Approach, a method that allows LLMs to read text with user-specified emphasis marks. To this end, PASTA identifies a small subset of attention heads and applies precise attention reweighting on them, directing the model attention to user-specified parts. Like prompting, PASTA is applied at inference time and does not require changing any model parameters. Experiments demonstrate that PASTA can substantially enhance an LLM's ability to follow user instructions or integrate new knowledge from user inputs, leading to a significant performance improvement on a variety of tasks, e.g., an average accuracy improvement of 22% for LLAMA-7B. Our code is publicly available at https://github.com/QingruZhang/PASTA .