Lenken Sie die Aufmerksamkeit Ihres Modells: Post-hoc-Aufmerksamkeitssteuerung für LLMs

Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs

November 3, 2023

Autoren: Qingru Zhang, Chandan Singh, Liyuan Liu, Xiaodong Liu, Bin Yu, Jianfeng Gao, Tuo Zhao

cs.AI

Zusammenfassung

In von Menschen verfassten Artikeln nutzen wir oft die Feinheiten des Textstils, wie Fettdruck und Kursivschrift, um die Aufmerksamkeit der Leser zu lenken. Diese textuellen Hervorhebungen sind entscheidend dafür, dass die Leser die vermittelten Informationen erfassen können. Bei der Interaktion mit großen Sprachmodellen (LLMs) besteht ein ähnliches Bedürfnis – das Modell dazu zu bringen, näher auf benutzerdefinierte Informationen, z. B. eine Anweisung, zu achten. Bestehende Methoden sind jedoch darauf beschränkt, Klartext zu verarbeiten und unterstützen keinen solchen Mechanismus. Dies motiviert uns, PASTA – Post-hoc Attention STeering Approach – vorzustellen, eine Methode, die es LLMs ermöglicht, Text mit benutzerdefinierten Hervorhebungsmarkierungen zu lesen. Zu diesem Zweck identifiziert PASTA eine kleine Teilmenge von Aufmerksamkeitsköpfen und wendet eine präzise Neugewichtung der Aufmerksamkeit auf sie an, wodurch die Aufmerksamkeit des Modells auf benutzerdefinierte Teile gelenkt wird. Ähnlich wie beim Prompting wird PASTA zur Inferenzzeit angewendet und erfordert keine Änderung von Modellparametern. Experimente zeigen, dass PASTA die Fähigkeit eines LLMs, Benutzeranweisungen zu befolgen oder neues Wissen aus Benutzereingaben zu integrieren, erheblich verbessern kann, was zu einer signifikanten Leistungssteigerung bei einer Vielzahl von Aufgaben führt, z. B. einer durchschnittlichen Genauigkeitsverbesserung von 22 % für LLAMA-7B. Unser Code ist öffentlich unter https://github.com/QingruZhang/PASTA verfügbar.

English

In human-written articles, we often leverage the subtleties of text style, such as bold and italics, to guide the attention of readers. These textual emphases are vital for the readers to grasp the conveyed information. When interacting with large language models (LLMs), we have a similar need - steering the model to pay closer attention to user-specified information, e.g., an instruction. Existing methods, however, are constrained to process plain text and do not support such a mechanism. This motivates us to introduce PASTA - Post-hoc Attention STeering Approach, a method that allows LLMs to read text with user-specified emphasis marks. To this end, PASTA identifies a small subset of attention heads and applies precise attention reweighting on them, directing the model attention to user-specified parts. Like prompting, PASTA is applied at inference time and does not require changing any model parameters. Experiments demonstrate that PASTA can substantially enhance an LLM's ability to follow user instructions or integrate new knowledge from user inputs, leading to a significant performance improvement on a variety of tasks, e.g., an average accuracy improvement of 22% for LLAMA-7B. Our code is publicly available at https://github.com/QingruZhang/PASTA .