Неоднозначность-осознанное обучение в контексте с использованием больших языковых моделей

Ambiguity-Aware In-Context Learning with Large Language Models

September 14, 2023

Авторы: Lingyu Gao, Aditi Chaudhary, Krishna Srinivasan, Kazuma Hashimoto, Karthik Raman, Michael Bendersky

cs.AI

Аннотация

Обучение в контексте (In-context learning, ICL), то есть предоставление крупным языковым моделям (LLM) лишь нескольких примеров, специфичных для задачи, привело к улучшению результатов без необходимости тонкой настройки под конкретную задачу. Однако LLM чувствительны к выбору промптов, и поэтому ключевым исследовательским вопросом является то, как выбирать хорошие примеры для ICL. Одной из эффективных стратегий является использование семантического сходства между примерами ICL и тестовыми входами с помощью текстового извлекателя, что, однако, не является оптимальным, так как не учитывает существующие знания LLM о задаче. Из предыдущих работ (Min et al., 2022) мы уже знаем, что метки, связанные с примерами, влияют на предсказания модели. Это приводит нас к гипотезе о том, что учет существующих знаний LLM о задаче, особенно в отношении пространства выходных меток, может помочь в разработке лучшей стратегии выбора примеров. В результате масштабных экспериментов на трех задачах классификации текста мы обнаруживаем, что полезно не только выбирать семантически похожие примеры ICL, но и те, которые помогают устранить неоднозначность меток, связанную с тестовым примером. Интересно, что включение примеров, которые LLM ранее неправильно классифицировала и которые находятся на границе принятия решений для тестового примера, приносит наибольший прирост производительности.

English

In-context learning (ICL) i.e. showing LLMs only a few task-specific demonstrations has led to downstream gains with no task-specific fine-tuning required. However, LLMs are sensitive to the choice of prompts, and therefore a crucial research question is how to select good demonstrations for ICL. One effective strategy is leveraging semantic similarity between the ICL demonstrations and test inputs by using a text retriever, which however is sub-optimal as that does not consider the LLM's existing knowledge about that task. From prior work (Min et al., 2022), we already know that labels paired with the demonstrations bias the model predictions. This leads us to our hypothesis whether considering LLM's existing knowledge about the task, especially with respect to the output label space can help in a better demonstration selection strategy. Through extensive experimentation on three text classification tasks, we find that it is beneficial to not only choose semantically similar ICL demonstrations but also to choose those demonstrations that help resolve the inherent label ambiguity surrounding the test example. Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example's decision boundary, brings the most performance gain.