Votre contexte n'est pas un tableau : Révéler les limites de l'accès aléatoire dans les Transformers

Your Context Is Not an Array: Unveiling Random Access Limitations in Transformers

August 10, 2024

Auteurs: MohammadReza Ebrahimi, Sunny Panchal, Roland Memisevic

cs.AI

Résumé

Malgré leurs récents succès, les grands modèles de langage basés sur les Transformers présentent des modes de défaillance surprenants. Un exemple bien connu de ces défaillances est leur incapacité à généraliser en fonction de la longueur : résoudre des instances de problèmes lors de l'inférence qui sont plus longues que celles rencontrées pendant l'entraînement. Dans ce travail, nous explorons plus en détail la cause profonde de cette défaillance en effectuant une analyse détaillée des comportements du modèle sur la tâche simple de parité. Notre analyse suggère que les échecs de généralisation en fonction de la longueur sont intimement liés à l'incapacité d'un modèle à effectuer des accès mémoire aléatoires dans sa fenêtre de contexte. Nous présentons des preuves à l'appui de cette hypothèse en démontrant l'efficacité des méthodologies qui contournent le besoin d'indexation ou qui permettent un accès aléatoire aux tokens indirectement, via un adressage basé sur le contenu. Nous montrons également où et comment l'échec à effectuer des accès mémoire aléatoires se manifeste à travers des visualisations des cartes d'attention.

English

Despite their recent successes, Transformer-based large language models show surprising failure modes. A well-known example of such failure modes is their inability to length-generalize: solving problem instances at inference time that are longer than those seen during training. In this work, we further explore the root cause of this failure by performing a detailed analysis of model behaviors on the simple parity task. Our analysis suggests that length generalization failures are intricately related to a model's inability to perform random memory accesses within its context window. We present supporting evidence for this hypothesis by demonstrating the effectiveness of methodologies that circumvent the need for indexing or that enable random token access indirectly, through content-based addressing. We further show where and how the failure to perform random memory access manifests through attention map visualizations.