Переполнение внимания: размытие ввода языковой модели во время длинного контекста Рекомендация отсутствующих элементов

Attention Overflow: Language Model Input Blur during Long-Context Missing Items Recommendation

July 18, 2024

Авторы: Damien Sileo

cs.AI

Аннотация

Большие языковые модели (LLM) могут предлагать отсутствующие элементы из перечисленных в запросе, что можно использовать для завершения списка или рекомендаций на основе истории пользователей. Однако их производительность снижается при представлении слишком большого количества элементов, поскольку они начинают предлагать элементы, уже включенные во входной список. Это происходит примерно при 100 элементах для флагманских LLM середины 2024 года. Мы оцениваем это явление как переполнение внимания как на синтетических проблемах (например, поиск отсутствующих чисел в заданном диапазоне переставленных целых чисел), так и в реалистичных сценариях рекомендации фильмов. Мы называем эту проблему переполнением внимания, поскольку предотвращение повторения требует одновременного обращения ко всем элементам. Хотя итерационные циклы могут смягчить эту проблему, их затраты увеличиваются с увеличением частоты повторений, влияя на способность языковых моделей извлекать новизну из длинных входных данных.

English

Large language models (LLMs) can suggest missing elements from items listed in a prompt, which can be used for list completion or recommendations based on users' history. However, their performance degrades when presented with too many items, as they start to suggest items already included in the input list. This occurs at around 100 items for mid-2024 flagship LLMs. We evaluate this phenomenon on both synthetic problems (e.g., finding missing numbers in a given range of shuffled integers) and realistic movie recommendation scenarios. We refer to this issue as attention overflow, as preventing repetition requires attending to all items simultaneously. Although iterative loops can mitigate this problem, their costs increase with the repetition rate, affecting the language models' ability to derive novelty from lengthy inputs.