Apprentissage en contexte avec conscience de l'ambiguïté pour les grands modèles de langage

Ambiguity-Aware In-Context Learning with Large Language Models

September 14, 2023

Auteurs: Lingyu Gao, Aditi Chaudhary, Krishna Srinivasan, Kazuma Hashimoto, Karthik Raman, Michael Bendersky

cs.AI

Résumé

L'apprentissage en contexte (ICL), c'est-à-dire le fait de montrer aux modèles de langage de grande taille (LLM) seulement quelques démonstrations spécifiques à une tâche, a conduit à des gains en aval sans nécessiter de réglage fin spécifique à la tâche. Cependant, les LLM sont sensibles au choix des invites, et donc une question de recherche cruciale est de savoir comment sélectionner de bonnes démonstrations pour l'ICL. Une stratégie efficace consiste à exploiter la similarité sémantique entre les démonstrations ICL et les entrées de test en utilisant un récupérateur de texte, ce qui est cependant sous-optimal car cela ne prend pas en compte les connaissances existantes du LLM sur cette tâche. D'après des travaux antérieurs (Min et al., 2022), nous savons déjà que les étiquettes associées aux démonstrations biaisent les prédictions du modèle. Cela nous amène à notre hypothèse selon laquelle la prise en compte des connaissances existantes du LLM sur la tâche, en particulier en ce qui concerne l'espace des étiquettes de sortie, peut contribuer à une meilleure stratégie de sélection des démonstrations. À travers des expérimentations approfondies sur trois tâches de classification de texte, nous constatons qu'il est bénéfique non seulement de choisir des démonstrations ICL sémantiquement similaires, mais aussi de choisir celles qui aident à résoudre l'ambiguïté inhérente des étiquettes entourant l'exemple de test. Fait intéressant, nous constatons que l'inclusion de démonstrations que le LLM a précédemment mal classées et qui se situent également sur la frontière de décision de l'exemple de test, apporte le plus grand gain de performance.

English

In-context learning (ICL) i.e. showing LLMs only a few task-specific demonstrations has led to downstream gains with no task-specific fine-tuning required. However, LLMs are sensitive to the choice of prompts, and therefore a crucial research question is how to select good demonstrations for ICL. One effective strategy is leveraging semantic similarity between the ICL demonstrations and test inputs by using a text retriever, which however is sub-optimal as that does not consider the LLM's existing knowledge about that task. From prior work (Min et al., 2022), we already know that labels paired with the demonstrations bias the model predictions. This leads us to our hypothesis whether considering LLM's existing knowledge about the task, especially with respect to the output label space can help in a better demonstration selection strategy. Through extensive experimentation on three text classification tasks, we find that it is beneficial to not only choose semantically similar ICL demonstrations but also to choose those demonstrations that help resolve the inherent label ambiguity surrounding the test example. Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example's decision boundary, brings the most performance gain.