Apprendimento in Contesto Consapevole dell'Ambiguo con Modelli Linguistici di Grandi Dimensioni

Ambiguity-Aware In-Context Learning with Large Language Models

September 14, 2023

Autori: Lingyu Gao, Aditi Chaudhary, Krishna Srinivasan, Kazuma Hashimoto, Karthik Raman, Michael Bendersky

cs.AI

Abstract

L'apprendimento in contesto (In-Context Learning, ICL), ovvero mostrare ai modelli linguistici di grandi dimensioni (LLM) solo poche dimostrazioni specifiche per il compito, ha portato a miglioramenti a valle senza la necessità di un'ottimizzazione specifica per il compito. Tuttavia, gli LLM sono sensibili alla scelta dei prompt, e quindi una questione di ricerca cruciale è come selezionare buone dimostrazioni per l'ICL. Una strategia efficace è sfruttare la similarità semantica tra le dimostrazioni ICL e gli input di test utilizzando un estrattore di testo, che tuttavia è sub-ottimale poiché non considera la conoscenza preesistente dell'LLM su quel compito. Da lavori precedenti (Min et al., 2022), sappiamo già che le etichette associate alle dimostrazioni influenzano le previsioni del modello. Questo ci porta alla nostra ipotesi: considerare la conoscenza preesistente dell'LLM sul compito, in particolare rispetto allo spazio delle etichette di output, può aiutare a sviluppare una strategia di selezione delle dimostrazioni migliore. Attraverso un'ampia sperimentazione su tre compiti di classificazione del testo, scopriamo che è vantaggioso non solo scegliere dimostrazioni ICL semanticamente simili, ma anche selezionare quelle che aiutano a risolvere l'ambiguità intrinseca delle etichette relative all'esempio di test. Interessante è il fatto che includere dimostrazioni che l'LLM aveva precedentemente classificato erroneamente e che si trovano sul confine decisionale dell'esempio di test, porta ai maggiori guadagni di prestazione.

English

In-context learning (ICL) i.e. showing LLMs only a few task-specific demonstrations has led to downstream gains with no task-specific fine-tuning required. However, LLMs are sensitive to the choice of prompts, and therefore a crucial research question is how to select good demonstrations for ICL. One effective strategy is leveraging semantic similarity between the ICL demonstrations and test inputs by using a text retriever, which however is sub-optimal as that does not consider the LLM's existing knowledge about that task. From prior work (Min et al., 2022), we already know that labels paired with the demonstrations bias the model predictions. This leads us to our hypothesis whether considering LLM's existing knowledge about the task, especially with respect to the output label space can help in a better demonstration selection strategy. Through extensive experimentation on three text classification tasks, we find that it is beneficial to not only choose semantically similar ICL demonstrations but also to choose those demonstrations that help resolve the inherent label ambiguity surrounding the test example. Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example's decision boundary, brings the most performance gain.