Пересмотр инкрементного обучения с моделями языка длинного контекста

Revisiting In-Context Learning with Long Context Language Models

December 22, 2024

Авторы: Jinheon Baek, Sun Jae Lee, Prakhar Gupta, Geunseob, Oh, Siddharth Dalmia, Prateek Kolhar

cs.AI

Аннотация

Обучение в контексте (In-Context Learning, ICL) – это методика, согласно которой языковые модели делают прогнозы на основе примеров, предоставленных в их входном контексте. Ранее размер окна контекста ограничивал количество примеров, которые можно было показать, что делало техники выбора примеров ключевыми для определения максимально эффективного набора примеров. Однако недавнее появление моделей языка с длинным контекстом (Long Context Language Models, LCLMs) значительно увеличило количество примеров, которые можно включить в контекст, возникает важный вопрос о том, чувствителен ли результат ICL в режиме многократного показа к методу выбора образцов. Для ответа на этот вопрос мы пересматриваем эти подходы в контексте LCLMs через обширные эксперименты на 18 наборах данных, охватывающих 4 задачи. К удивлению, мы обнаруживаем, что сложные техники выбора примеров не приносят существенных улучшений по сравнению с простым случайным выбором образцов. Вместо этого мы приходим к выводу, что появление LCLMs фундаментально изменило вызов ICL: от выбора наиболее эффективных примеров к сбору достаточного количества примеров для заполнения окна контекста. В частности, на некоторых наборах данных включение всех доступных примеров не использует полностью окно контекста; однако, добавляя примеры в контекст с помощью простого подхода к аугментации данных, мы значительно улучшаем производительность ICL на 5%.

English

In-Context Learning (ICL) is a technique by which language models make predictions based on examples provided in their input context. Previously, their context window size imposed a limit on the number of examples that can be shown, making example selection techniques crucial for identifying the maximally effective set of examples. However, the recent advent of Long Context Language Models (LCLMs) has significantly increased the number of examples that can be included in context, raising an important question of whether ICL performance in a many-shot regime is still sensitive to the method of sample selection. To answer this, we revisit these approaches in the context of LCLMs through extensive experiments on 18 datasets spanning 4 tasks. Surprisingly, we observe that sophisticated example selection techniques do not yield significant improvements over a simple random sample selection method. Instead, we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window. Specifically, in certain datasets, including all available examples does not fully utilize the context window; however, by augmenting the examples in context with a simple data augmentation approach, we substantially improve ICL performance by 5%.