Neubewertung des Lernens im Kontext mit Sprachmodellen mit langem Kontext

Revisiting In-Context Learning with Long Context Language Models

December 22, 2024

Autoren: Jinheon Baek, Sun Jae Lee, Prakhar Gupta, Geunseob, Oh, Siddharth Dalmia, Prateek Kolhar

cs.AI

Zusammenfassung

Das In-Context Learning (ICL) ist eine Technik, bei der Sprachmodelle Vorhersagen basierend auf Beispielen treffen, die in ihrem Eingangskontext bereitgestellt werden. Zuvor begrenzte die Größe ihres Kontextfensters die Anzahl der darstellbaren Beispiele, wodurch die Auswahl von Beispielen entscheidend war, um die maximal effektive Beispielsammlung zu identifizieren. Allerdings hat das jüngste Aufkommen von Long Context Language Models (LCLMs) die Anzahl der darstellbaren Beispiele im Kontext signifikant erhöht, was die wichtige Frage aufwirft, ob die Leistung des ICL in einem many-shot Regime immer noch empfindlich auf die Methode der Stichprobenauswahl reagiert. Um dies zu beantworten, überprüfen wir diese Ansätze im Kontext von LCLMs durch umfangreiche Experimente an 18 Datensätzen, die 4 Aufgaben abdecken. Überraschenderweise stellen wir fest, dass ausgefeilte Techniken zur Beispielauswahl keine signifikanten Verbesserungen gegenüber einer einfachen zufälligen Stichprobenauswahl bringen. Stattdessen zeigen wir, dass das Aufkommen von LCLMs die Herausforderung des ICL grundlegend verlagert hat: weg von der Auswahl der effektivsten Beispiele hin zur Sammlung ausreichender Beispiele, um das Kontextfenster zu füllen. Insbesondere nutzen in bestimmten Datensätzen alle verfügbaren Beispiele das Kontextfenster nicht vollständig aus. Durch die Ergänzung der Beispiele im Kontext mit einem einfachen Datenvermehrungsansatz verbessern wir die ICL-Leistung signifikant um 5%.

English

In-Context Learning (ICL) is a technique by which language models make predictions based on examples provided in their input context. Previously, their context window size imposed a limit on the number of examples that can be shown, making example selection techniques crucial for identifying the maximally effective set of examples. However, the recent advent of Long Context Language Models (LCLMs) has significantly increased the number of examples that can be included in context, raising an important question of whether ICL performance in a many-shot regime is still sensitive to the method of sample selection. To answer this, we revisit these approaches in the context of LCLMs through extensive experiments on 18 datasets spanning 4 tasks. Surprisingly, we observe that sophisticated example selection techniques do not yield significant improvements over a simple random sample selection method. Instead, we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window. Specifically, in certain datasets, including all available examples does not fully utilize the context window; however, by augmenting the examples in context with a simple data augmentation approach, we substantially improve ICL performance by 5%.