Модели языка с длинным контекстом испытывают затруднения с длительным обучением в контексте.

Long-context LLMs Struggle with Long In-context Learning

April 2, 2024

Авторы: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen

cs.AI

Аннотация

Большие языковые модели (LLM) сделали значительные успехи в обработке длинных последовательностей, превышающих 32 тыс. токенов. Однако их оценка производительности в основном ограничивалась метриками, такими как перплексия и синтетические задачи, которые могут не полностью отразить их способности в более тонких, реальных сценариях. В данном исследовании представлен специализированный бенчмарк (LIConBench), сосредоточенный на долгосрочном контекстном обучении в области классификации с экстремальным количеством меток. Мы тщательно выбрали шесть наборов данных с диапазоном меток от 28 до 174 классов, охватывающих различные длины ввода (демонстрация с небольшим количеством примеров) от 2 тыс. до 50 тыс. Наш бенчмарк требует, чтобы LLM понимали весь ввод для распознавания огромных пространств меток для корректного предсказания. Мы оценили 13 LLM с долгим контекстом на наших бенчмарках. Мы обнаружили, что LLM с долгим контекстом демонстрируют относительно хорошую производительность при длине токена до 20 тыс., и производительность выигрывает от использования длинного окна контекста. Однако после того, как окно контекста превышает 20 тыс., большинство LLM, за исключением GPT-4, резко падают. Это указывает на значительную разницу в текущих возможностях LLM для обработки и понимания длинных, контекстно насыщенных последовательностей. Дополнительный анализ показал тенденцию моделей отдавать предпочтение предсказаниям для меток, представленных ближе к концу последовательности. Их способность рассуждать о нескольких частях в длинной последовательности требует улучшения. Наше исследование показывает, что понимание и рассуждение в долгосрочном контексте по-прежнему является сложной задачей для существующих LLM. Мы считаем, что LIConBench может служить более реалистичной оценкой для будущих LLM с долгим контекстом.

English

Large Language Models (LLMs) have made significant strides in handling long sequences exceeding 32K tokens. However, their performance evaluation has largely been confined to metrics like perplexity and synthetic tasks, which may not fully capture their abilities in more nuanced, real-world scenarios. This study introduces a specialized benchmark (LIConBench) focusing on long in-context learning within the realm of extreme-label classification. We meticulously selected six datasets with a label range spanning 28 to 174 classes covering different input (few-shot demonstration) length from 2K to 50K. Our benchmark requires LLMs to comprehend the entire input to recognize the massive label spaces to make correct prediction. We evaluate 13 long-context LLMs on our benchmarks. We find that the long-context LLMs perform relatively well under the token length of 20K and the performance benefits from utilizing the long context window. However, after the context window exceeds 20K, most LLMs except GPT-4 will dip dramatically. This suggests a notable gap in current LLM capabilities for processing and understanding long, context-rich sequences. Further analysis revealed a tendency among models to favor predictions for labels presented towards the end at the sequence. Their ability to reason over multiple pieces in the long sequence is yet to be improved. Our study reveals that long context understanding and reasoning is still a challenging task for the existing LLMs. We believe LIConBench could serve as a more realistic evaluation for the future long context LLMs.