Оценка контекстных окон языковой модели: тест "рабочей памяти" и коррекция во время вывода

Evaluating Language Model Context Windows: A "Working Memory" Test and Inference-time Correction

July 4, 2024

Авторы: Amanda Dsouza, Christopher Glaze, Changho Shin, Frederic Sala

cs.AI

Аннотация

Большие языковые модели широко используются в реальных приложениях, часто задействованы в рассуждениях над большими объемами документов. Захватывающим развитием в этой области являются модели, обладающие расширенными возможностями контекста, некоторые из них способны работать с более чем 2 миллионами токенов. Такие возможности моделей с длинным контекстом остаются неопределенными в системах производства, что мотивирует необходимость оценки их производительности на реальных кейсах использования. Мы решаем эту проблему, предлагая SWiM, фреймворк оценки, который учитывает ограничения стандартных тестов. Проведя тестирование фреймворка на восьми моделях с длинным контекстом, мы обнаружили, что даже сильные модели, такие как GPT-4 и Claude 3 Opus, теряют в производительности, когда информация находится в середине окна контекста (эффект потери в середине). Кроме того, помимо нашего бенчмарка, мы предлагаем медианный голосовой подход, простой, но эффективный метод обучения без тренировки, который помогает уменьшить этот эффект, генерируя ответы несколько раз, каждый раз случайным образом переставляя документы в контексте и выбирая медианный ответ. Мы оцениваем медианный голосовой подход на задачах вопросов-ответов по одному документу, достигая повышения точности до 24%.

English

Large language models are prominently used in real-world applications, often tasked with reasoning over large volumes of documents. An exciting development in this space is models boasting extended context capabilities, with some accommodating over 2 million tokens. Such long context model capabilities remain uncertain in production systems, motivating the need to benchmark their performance on real world use cases. We address this challenge by proposing SWiM, an evaluation framework that addresses the limitations of standard tests. Testing the framework on eight long context models, we find that even strong models such as GPT-4 and Claude 3 Opus degrade in performance when information is present in the middle of the context window (lost-in-the-middle effect). Next, in addition to our benchmark, we propose medoid voting, a simple, but effective training-free approach that helps alleviate this effect, by generating responses a few times, each time randomly permuting documents in the context, and selecting the medoid answer. We evaluate medoid voting on single document QA tasks, achieving up to a 24% lift in accuracy.