Aprendizaje para Recuperar Ejemplos en Contexto para Modelos de Lenguaje a Gran Escala

Learning to Retrieve In-Context Examples for Large Language Models

July 14, 2023

Autores: Liang Wang, Nan Yang, Furu Wei

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado su capacidad para aprender en contexto, lo que les permite realizar diversas tareas basándose en unos pocos ejemplos de entrada-salida. Sin embargo, la efectividad del aprendizaje en contexto depende en gran medida de la calidad de los ejemplos seleccionados. En este artículo, proponemos un marco novedoso para entrenar de manera iterativa recuperadores densos que puedan identificar ejemplos de alta calidad en contexto para LLMs. Nuestro marco entrena inicialmente un modelo de recompensa basado en la retroalimentación del LLM para evaluar la calidad de los ejemplos candidatos, seguido de una destilación de conocimiento para entrenar un recuperador denso basado en un bi-codificador. Nuestros experimentos en un conjunto de 30 tareas demuestran que nuestro marco mejora significativamente el rendimiento del aprendizaje en contexto. Además, mostramos la capacidad de generalización de nuestro marco a tareas no vistas durante el entrenamiento. Un análisis en profundidad revela que nuestro modelo mejora el rendimiento al recuperar ejemplos con patrones similares, y las ganancias son consistentes en LLMs de diferentes tamaños.

English

Large language models (LLMs) have demonstrated their ability to learn in-context, allowing them to perform various tasks based on a few input-output examples. However, the effectiveness of in-context learning is heavily reliant on the quality of the selected examples. In this paper, we propose a novel framework to iteratively train dense retrievers that can identify high-quality in-context examples for LLMs. Our framework initially trains a reward model based on LLM feedback to evaluate the quality of candidate examples, followed by knowledge distillation to train a bi-encoder based dense retriever. Our experiments on a suite of 30 tasks demonstrate that our framework significantly enhances in-context learning performance. Furthermore, we show the generalization ability of our framework to unseen tasks during training. An in-depth analysis reveals that our model improves performance by retrieving examples with similar patterns, and the gains are consistent across LLMs of varying sizes.