¿Puede funcionar el aprendizaje con pocos ejemplos en contextos largos? Reciclando el contexto para generar demostraciones

Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations

June 19, 2024

Autores: Arie Cattan, Alon Jacovi, Alex Fabrikant, Jonathan Herzig, Roee Aharoni, Hannah Rashkin, Dror Marcus, Avinatan Hassidim, Yossi Matias, Idan Szpektor, Avi Caciularu

cs.AI

Resumen

A pesar de los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), su rendimiento en tareas que involucran contextos largos sigue siendo subóptimo. El Aprendizaje en Contexto (ICL, por sus siglas en inglés) con ejemplos de pocas muestras podría ser una solución atractiva para mejorar el rendimiento de los LLMs en este escenario; sin embargo, agregar ejemplos de ICL con contextos largos de manera ingenua introduce desafíos, incluyendo un sobrecosto sustancial de tokens añadidos por cada ejemplo de pocas muestras y una falta de coincidencia entre las demostraciones y la consulta objetivo. En este trabajo, proponemos generar automáticamente ejemplos de pocas muestras para tareas de preguntas y respuestas (QA) con contextos largos mediante el reciclaje de contextos. Específicamente, dado un contexto de entrada largo (1-3k tokens) y una consulta, generamos pares adicionales de consulta-respuesta a partir del contexto proporcionado como ejemplos de pocas muestras, mientras introducimos el contexto solo una vez. Esto asegura que las demostraciones aprovechen el mismo contexto que la consulta objetivo, mientras se añade solo un pequeño número de tokens al prompt. Además, mejoramos cada demostración instruyendo al modelo para identificar explícitamente los párrafos relevantes antes de la respuesta, lo que mejora el rendimiento al proporcionar una atribución detallada de la fuente de la respuesta. Aplicamos nuestro método en múltiples LLMs y obtenemos mejoras sustanciales (+23\% en promedio entre los modelos) en varios conjuntos de datos de QA con contextos largos, especialmente cuando la respuesta se encuentra en la mitad del contexto. Sorprendentemente, a pesar de introducir solo ejemplos de ICL de un solo salto, los LLMs también generalizan con éxito a QA de contextos largos de múltiples saltos utilizando nuestro enfoque.

English

Despite recent advancements in Large Language Models (LLMs), their performance on tasks involving long contexts remains sub-optimal. In-Context Learning (ICL) with few-shot examples may be an appealing solution to enhance LLM performance in this scenario; However, naively adding ICL examples with long context introduces challenges, including substantial token overhead added for each few-shot example and context mismatch between the demonstrations and the target query. In this work, we propose to automatically generate few-shot examples for long context QA tasks by recycling contexts. Specifically, given a long input context (1-3k tokens) and a query, we generate additional query-output pairs from the given context as few-shot examples, while introducing the context only once. This ensures that the demonstrations are leveraging the same context as the target query while only adding a small number of tokens to the prompt. We further enhance each demonstration by instructing the model to explicitly identify the relevant paragraphs before the answer, which improves performance while providing fine-grained attribution to the answer source. We apply our method on multiple LLMs and obtain substantial improvements (+23\% on average across models) on various QA datasets with long context, especially when the answer lies within the middle of the context. Surprisingly, despite introducing only single-hop ICL examples, LLMs also successfully generalize to multi-hop long-context QA using our approach.