Herziening van In-Context Leren met Taalmodellen met Lange Context

Samenvatting

In-Context Learning (ICL) is een techniek waarbij taalmodellen voorspellingen doen op basis van voorbeelden die worden verstrekt in hun invoercontext. Eerder legde de grootte van hun contextvenster een limiet op aan het aantal voorbeelden dat kan worden getoond, waardoor technieken voor voorbeeldselectie cruciaal waren voor het identificeren van de meest effectieve set voorbeelden. Echter, de recente opkomst van Long Context Language Models (LCLMs) heeft het aantal voorbeelden dat in de context kan worden opgenomen aanzienlijk verhoogd, wat een belangrijke vraag oproept of de prestaties van ICL in een many-shot regime nog steeds gevoelig zijn voor de methode van voorbeeldselectie. Om dit te beantwoorden, herzien we deze benaderingen in de context van LCLMs door uitgebreide experimenten op 18 datasets die 4 taken bestrijken. Verrassend genoeg observeren we dat geavanceerde technieken voor voorbeeldselectie geen significante verbeteringen opleveren ten opzichte van een eenvoudige willekeurige voorbeeldselectiemethode. In plaats daarvan ontdekken we dat de opkomst van LCLMs het uitdaging van ICL fundamenteel heeft verlegd van het selecteren van de meest effectieve voorbeelden naar het verzamelen van voldoende voorbeelden om het contextvenster te vullen. Specifiek, in bepaalde datasets, benutten het opnemen van alle beschikbare voorbeelden niet volledig het contextvenster; echter, door de voorbeelden in de context aan te vullen met een eenvoudige data-augmentatiebenadering, verbeteren we de ICL-prestaties aanzienlijk met 5%.

English

In-Context Learning (ICL) is a technique by which language models make predictions based on examples provided in their input context. Previously, their context window size imposed a limit on the number of examples that can be shown, making example selection techniques crucial for identifying the maximally effective set of examples. However, the recent advent of Long Context Language Models (LCLMs) has significantly increased the number of examples that can be included in context, raising an important question of whether ICL performance in a many-shot regime is still sensitive to the method of sample selection. To answer this, we revisit these approaches in the context of LCLMs through extensive experiments on 18 datasets spanning 4 tasks. Surprisingly, we observe that sophisticated example selection techniques do not yield significant improvements over a simple random sample selection method. Instead, we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window. Specifically, in certain datasets, including all available examples does not fully utilize the context window; however, by augmenting the examples in context with a simple data augmentation approach, we substantially improve ICL performance by 5%.

Herziening van In-Context Leren met Taalmodellen met Lange Context

Revisiting In-Context Learning with Long Context Language Models

Samenvatting

Support