あなたのコンテキストは配列ではありません：Transformerにおけるランダムアクセスの制限を明らかにする

Your Context Is Not an Array: Unveiling Random Access Limitations in Transformers

August 10, 2024

著者: MohammadReza Ebrahimi, Sunny Panchal, Roland Memisevic

cs.AI

要旨

近年成功を収めているTransformerベースの大規模言語モデルにもかかわらず、驚くべき失敗モードが存在します。その代表的な例が、長さ一般化の欠如です。これは、推論時に訓練中に見たものよりも長い問題インスタンスを解決できないという現象です。本研究では、単純なパリティタスクにおけるモデルの挙動を詳細に分析することで、この失敗の根本原因をさらに探求します。私たちの分析によると、長さ一般化の失敗は、モデルがそのコンテキストウィンドウ内でランダムなメモリアクセスを実行できないことと密接に関連していることが示唆されています。この仮説を支持する証拠として、インデックス付けの必要性を回避する方法論や、コンテンツベースのアドレッシングを通じて間接的にランダムなトークンアクセスを可能にする手法の有効性を実証します。さらに、アテンションマップの可視化を通じて、ランダムメモリアクセスの失敗がどこでどのように現れるかを示します。

English

Despite their recent successes, Transformer-based large language models show surprising failure modes. A well-known example of such failure modes is their inability to length-generalize: solving problem instances at inference time that are longer than those seen during training. In this work, we further explore the root cause of this failure by performing a detailed analysis of model behaviors on the simple parity task. Our analysis suggests that length generalization failures are intricately related to a model's inability to perform random memory accesses within its context window. We present supporting evidence for this hypothesis by demonstrating the effectiveness of methodologies that circumvent the need for indexing or that enable random token access indirectly, through content-based addressing. We further show where and how the failure to perform random memory access manifests through attention map visualizations.