Mehrdeutigkeitsbewusstes In-Context-Lernen mit großen Sprachmodellen

Ambiguity-Aware In-Context Learning with Large Language Models

September 14, 2023

Autoren: Lingyu Gao, Aditi Chaudhary, Krishna Srinivasan, Kazuma Hashimoto, Karthik Raman, Michael Bendersky

cs.AI

Zusammenfassung

In-Context-Learning (ICL), d.h. das Zeigen von nur wenigen aufgabenbezogenen Demonstrationen für große Sprachmodelle (LLMs), hat zu nachgelagerten Verbesserungen geführt, ohne dass eine aufgabenspezifische Feinabstimmung erforderlich war. Allerdings sind LLMs empfindlich gegenüber der Auswahl der Prompts, und daher ist eine entscheidende Forschungsfrage, wie gute Demonstrationen für ICL ausgewählt werden können. Eine effektive Strategie besteht darin, die semantische Ähnlichkeit zwischen den ICL-Demonstrationen und den Testeingaben durch die Verwendung eines Textretrievers zu nutzen, was jedoch suboptimal ist, da dies das vorhandene Wissen des LLMs über die Aufgabe nicht berücksichtigt. Aus früheren Arbeiten (Min et al., 2022) wissen wir bereits, dass die mit den Demonstrationen gepaarten Labels die Modellvorhersagen verzerren. Dies führt uns zu unserer Hypothese, ob die Berücksichtigung des vorhandenen Wissens des LLMs über die Aufgabe, insbesondere in Bezug auf den Ausgabelabelraum, zu einer besseren Strategie für die Auswahl von Demonstrationen beitragen kann. Durch umfangreiche Experimente an drei Textklassifizierungsaufgaben stellen wir fest, dass es vorteilhaft ist, nicht nur semantisch ähnliche ICL-Demonstrationen auszuwählen, sondern auch solche, die dazu beitragen, die inhärente Labelambiguität rund um das Testbeispiel zu lösen. Interessanterweise stellen wir fest, dass die Einbeziehung von Demonstrationen, die das LLM zuvor falsch klassifiziert hat und die auch auf der Entscheidungsgrenze des Testbeispiels liegen, den größten Leistungsgewinn bringt.

English

In-context learning (ICL) i.e. showing LLMs only a few task-specific demonstrations has led to downstream gains with no task-specific fine-tuning required. However, LLMs are sensitive to the choice of prompts, and therefore a crucial research question is how to select good demonstrations for ICL. One effective strategy is leveraging semantic similarity between the ICL demonstrations and test inputs by using a text retriever, which however is sub-optimal as that does not consider the LLM's existing knowledge about that task. From prior work (Min et al., 2022), we already know that labels paired with the demonstrations bias the model predictions. This leads us to our hypothesis whether considering LLM's existing knowledge about the task, especially with respect to the output label space can help in a better demonstration selection strategy. Through extensive experimentation on three text classification tasks, we find that it is beneficial to not only choose semantically similar ICL demonstrations but also to choose those demonstrations that help resolve the inherent label ambiguity surrounding the test example. Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example's decision boundary, brings the most performance gain.