Réexaminer l'apprentissage en contexte avec des modèles de langage à long contexte

Revisiting In-Context Learning with Long Context Language Models

December 22, 2024

Auteurs: Jinheon Baek, Sun Jae Lee, Prakhar Gupta, Geunseob, Oh, Siddharth Dalmia, Prateek Kolhar

cs.AI

Résumé

L'apprentissage en contexte (ICL) est une technique par laquelle les modèles de langage font des prédictions basées sur des exemples fournis dans leur contexte d'entrée. Auparavant, la taille de leur fenêtre contextuelle imposait une limite sur le nombre d'exemples pouvant être affichés, rendant les techniques de sélection d'exemples cruciales pour identifier l'ensemble d'exemples le plus efficace. Cependant, l'avènement récent des Modèles de Langage à Long Contexte (LCLMs) a considérablement augmenté le nombre d'exemples pouvant être inclus dans le contexte, soulevant une question importante sur la sensibilité des performances de l'ICL dans un régime à nombreux exemples à la méthode de sélection des échantillons. Pour répondre à cela, nous revisitons ces approches dans le contexte des LCLMs à travers des expériences approfondies sur 18 ensembles de données couvrant 4 tâches. De manière surprenante, nous observons que des techniques sophistiquées de sélection d'exemples ne produisent pas d'améliorations significatives par rapport à une méthode simple de sélection aléatoire des échantillons. Au lieu de cela, nous constatons que l'avènement des LCLMs a fondamentalement déplacé le défi de l'ICL de la sélection des exemples les plus efficaces à la collecte d'exemples suffisants pour remplir la fenêtre contextuelle. Plus précisément, dans certains ensembles de données, inclure tous les exemples disponibles n'utilise pas pleinement la fenêtre contextuelle ; cependant, en augmentant les exemples en contexte avec une approche simple d'augmentation des données, nous améliorons sensiblement les performances de l'ICL de 5%.

English

In-Context Learning (ICL) is a technique by which language models make predictions based on examples provided in their input context. Previously, their context window size imposed a limit on the number of examples that can be shown, making example selection techniques crucial for identifying the maximally effective set of examples. However, the recent advent of Long Context Language Models (LCLMs) has significantly increased the number of examples that can be included in context, raising an important question of whether ICL performance in a many-shot regime is still sensitive to the method of sample selection. To answer this, we revisit these approaches in the context of LCLMs through extensive experiments on 18 datasets spanning 4 tasks. Surprisingly, we observe that sophisticated example selection techniques do not yield significant improvements over a simple random sample selection method. Instead, we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window. Specifically, in certain datasets, including all available examples does not fully utilize the context window; however, by augmenting the examples in context with a simple data augmentation approach, we substantially improve ICL performance by 5%.