注意オーバーフロー：長文脈における言語モデルの入力ぼやけと欠落アイテム推薦

Attention Overflow: Language Model Input Blur during Long-Context Missing Items Recommendation

July 18, 2024

著者: Damien Sileo

cs.AI

要旨

大規模言語モデル（LLM）は、プロンプトに記載された項目から欠落要素を提案することができ、リストの補完やユーザーの履歴に基づく推薦に利用できます。しかし、提示される項目数が多すぎると、入力リストに既に含まれている項目を提案し始めるため、その性能は低下します。この現象は、2024年半ばの主要なLLMにおいて、約100項目程度で発生します。我々はこの現象を、合成問題（例えば、シャッフルされた整数の範囲内で欠落している数字を見つける）と現実的な映画推薦シナリオの両方で評価しました。この問題を「アテンションオーバーフロー」と呼びます。なぜなら、繰り返しを防ぐためにはすべての項目に同時に注意を向ける必要があるからです。反復ループを使用することでこの問題を軽減することは可能ですが、そのコストは繰り返し率に応じて増加し、長い入力から新規性を導き出す言語モデルの能力に影響を与えます。

English

Large language models (LLMs) can suggest missing elements from items listed in a prompt, which can be used for list completion or recommendations based on users' history. However, their performance degrades when presented with too many items, as they start to suggest items already included in the input list. This occurs at around 100 items for mid-2024 flagship LLMs. We evaluate this phenomenon on both synthetic problems (e.g., finding missing numbers in a given range of shuffled integers) and realistic movie recommendation scenarios. We refer to this issue as attention overflow, as preventing repetition requires attending to all items simultaneously. Although iterative loops can mitigate this problem, their costs increase with the repetition rate, affecting the language models' ability to derive novelty from lengthy inputs.