Imparare a Recuperare Esempi In-Contesto per Modelli Linguistici di Grandi Dimensioni

Learning to Retrieve In-Context Examples for Large Language Models

July 14, 2023

Autori: Liang Wang, Nan Yang, Furu Wei

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato la loro capacità di apprendere in contesto, consentendo loro di eseguire varie attività basandosi su pochi esempi di input-output. Tuttavia, l'efficacia dell'apprendimento in contesto dipende fortemente dalla qualità degli esempi selezionati. In questo articolo, proponiamo un nuovo framework per addestrare iterativamente dei retriever densi in grado di identificare esempi di alta qualità per l'apprendimento in contesto degli LLM. Il nostro framework inizialmente addestra un modello di reward basato sul feedback degli LLM per valutare la qualità degli esempi candidati, seguito da una distillazione della conoscenza per addestrare un retriever denso basato su un bi-encoder. I nostri esperimenti su un insieme di 30 task dimostrano che il nostro framework migliora significativamente le prestazioni dell'apprendimento in contesto. Inoltre, mostriamo la capacità di generalizzazione del nostro framework su task non visti durante l'addestramento. Un'analisi approfondita rivela che il nostro modello migliora le prestazioni recuperando esempi con pattern simili, e i guadagni sono consistenti tra LLM di dimensioni variabili.

English

Large language models (LLMs) have demonstrated their ability to learn in-context, allowing them to perform various tasks based on a few input-output examples. However, the effectiveness of in-context learning is heavily reliant on the quality of the selected examples. In this paper, we propose a novel framework to iteratively train dense retrievers that can identify high-quality in-context examples for LLMs. Our framework initially trains a reward model based on LLM feedback to evaluate the quality of candidate examples, followed by knowledge distillation to train a bi-encoder based dense retriever. Our experiments on a suite of 30 tasks demonstrate that our framework significantly enhances in-context learning performance. Furthermore, we show the generalization ability of our framework to unseen tasks during training. An in-depth analysis reveals that our model improves performance by retrieving examples with similar patterns, and the gains are consistent across LLMs of varying sizes.