Aprendizaje en Contexto Consciente de la Ambigüedad con Modelos de Lenguaje de Gran Escala

Ambiguity-Aware In-Context Learning with Large Language Models

September 14, 2023

Autores: Lingyu Gao, Aditi Chaudhary, Krishna Srinivasan, Kazuma Hashimoto, Karthik Raman, Michael Bendersky

cs.AI

Resumen

El aprendizaje en contexto (ICL, por sus siglas en inglés), es decir, mostrar a los modelos de lenguaje grandes (LLMs) solo unas pocas demostraciones específicas de la tarea, ha generado mejoras en tareas posteriores sin necesidad de ajustes específicos. Sin embargo, los LLMs son sensibles a la elección de los prompts, por lo que una pregunta crucial de investigación es cómo seleccionar buenas demostraciones para el ICL. Una estrategia efectiva es aprovechar la similitud semántica entre las demostraciones de ICL y las entradas de prueba utilizando un recuperador de texto, aunque esto es subóptimo ya que no considera el conocimiento existente del LLM sobre esa tarea. A partir de trabajos previos (Min et al., 2022), ya sabemos que las etiquetas asociadas con las demostraciones sesgan las predicciones del modelo. Esto nos lleva a nuestra hipótesis: considerar el conocimiento existente del LLM sobre la tarea, especialmente en relación con el espacio de etiquetas de salida, podría ayudar a una mejor estrategia de selección de demostraciones. A través de experimentación extensa en tres tareas de clasificación de texto, encontramos que es beneficioso no solo elegir demostraciones de ICL semánticamente similares, sino también aquellas que ayudan a resolver la ambigüedad inherente de las etiquetas alrededor del ejemplo de prueba. Curiosamente, descubrimos que incluir demostraciones que el LLM clasificó incorrectamente previamente y que también se encuentran en el límite de decisión del ejemplo de prueba, aporta la mayor mejora en el rendimiento.

English

In-context learning (ICL) i.e. showing LLMs only a few task-specific demonstrations has led to downstream gains with no task-specific fine-tuning required. However, LLMs are sensitive to the choice of prompts, and therefore a crucial research question is how to select good demonstrations for ICL. One effective strategy is leveraging semantic similarity between the ICL demonstrations and test inputs by using a text retriever, which however is sub-optimal as that does not consider the LLM's existing knowledge about that task. From prior work (Min et al., 2022), we already know that labels paired with the demonstrations bias the model predictions. This leads us to our hypothesis whether considering LLM's existing knowledge about the task, especially with respect to the output label space can help in a better demonstration selection strategy. Through extensive experimentation on three text classification tasks, we find that it is beneficial to not only choose semantically similar ICL demonstrations but also to choose those demonstrations that help resolve the inherent label ambiguity surrounding the test example. Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example's decision boundary, brings the most performance gain.