Le Few-shot peut-il fonctionner dans un contexte long ? Recycler le contexte pour générer des démonstrations

Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations

June 19, 2024

Auteurs: Arie Cattan, Alon Jacovi, Alex Fabrikant, Jonathan Herzig, Roee Aharoni, Hannah Rashkin, Dror Marcus, Avinatan Hassidim, Yossi Matias, Idan Szpektor, Avi Caciularu

cs.AI

Résumé

Malgré les récents progrès des modèles de langage à grande échelle (LLMs), leurs performances sur les tâches impliquant des contextes longs restent sous-optimales. L'apprentissage en contexte (In-Context Learning, ICL) avec quelques exemples peut sembler une solution attrayante pour améliorer les performances des LLMs dans ce scénario ; cependant, l'ajout naïf d'exemples ICL avec un contexte long introduit des défis, notamment une surcharge substantielle de tokens pour chaque exemple et un décalage contextuel entre les démonstrations et la requête cible. Dans ce travail, nous proposons de générer automatiquement des exemples pour les tâches de question-réponse (QA) à contexte long en recyclant les contextes. Plus précisément, étant donné un contexte d'entrée long (1-3k tokens) et une requête, nous générons des paires requête-réponse supplémentaires à partir du contexte donné comme exemples, tout en introduisant le contexte une seule fois. Cela garantit que les démonstrations exploitent le même contexte que la requête cible tout en n'ajoutant qu'un petit nombre de tokens à l'invite. Nous améliorons également chaque démonstration en demandant au modèle d'identifier explicitement les paragraphes pertinents avant la réponse, ce qui améliore les performances tout en fournissant une attribution fine à la source de la réponse. Nous appliquons notre méthode sur plusieurs LLMs et obtenons des améliorations substantielles (+23\% en moyenne sur les modèles) sur divers ensembles de données QA à contexte long, en particulier lorsque la réponse se situe au milieu du contexte. Étonnamment, bien que nous introduisions uniquement des exemples ICL à saut unique, les LLMs généralisent également avec succès aux QA à contexte long multi-sauts grâce à notre approche.

English

Despite recent advancements in Large Language Models (LLMs), their performance on tasks involving long contexts remains sub-optimal. In-Context Learning (ICL) with few-shot examples may be an appealing solution to enhance LLM performance in this scenario; However, naively adding ICL examples with long context introduces challenges, including substantial token overhead added for each few-shot example and context mismatch between the demonstrations and the target query. In this work, we propose to automatically generate few-shot examples for long context QA tasks by recycling contexts. Specifically, given a long input context (1-3k tokens) and a query, we generate additional query-output pairs from the given context as few-shot examples, while introducing the context only once. This ensures that the demonstrations are leveraging the same context as the target query while only adding a small number of tokens to the prompt. We further enhance each demonstration by instructing the model to explicitly identify the relevant paragraphs before the answer, which improves performance while providing fine-grained attribution to the answer source. We apply our method on multiple LLMs and obtain substantial improvements (+23\% on average across models) on various QA datasets with long context, especially when the answer lies within the middle of the context. Surprisingly, despite introducing only single-hop ICL examples, LLMs also successfully generalize to multi-hop long-context QA using our approach.