Tu Contexto No Es un Conjunto: Revelando Limitaciones de Acceso Aleatorio en Transformadores

Your Context Is Not an Array: Unveiling Random Access Limitations in Transformers

August 10, 2024

Autores: MohammadReza Ebrahimi, Sunny Panchal, Roland Memisevic

cs.AI

Resumen

A pesar de sus recientes éxitos, los modelos de lenguaje grandes basados en Transformadores muestran modos de falla sorprendentes. Un ejemplo conocido de tales modos de falla es su incapacidad para generalizar la longitud: resolver instancias de problemas en tiempo de inferencia que son más largas que las vistas durante el entrenamiento. En este trabajo, exploramos más a fondo la causa raíz de esta falla realizando un análisis detallado de los comportamientos del modelo en la tarea simple de paridad. Nuestro análisis sugiere que las fallas en la generalización de la longitud están intrínsecamente relacionadas con la incapacidad de un modelo para realizar accesos aleatorios a la memoria dentro de su ventana de contexto. Presentamos evidencia de apoyo para esta hipótesis demostrando la efectividad de metodologías que evitan la necesidad de indexación o que permiten el acceso aleatorio a tokens de forma indirecta, a través de direccionamiento basado en contenido. Además, mostramos dónde y cómo la falla en realizar accesos aleatorios a la memoria se manifiesta a través de visualizaciones de mapas de atención.

English

Despite their recent successes, Transformer-based large language models show surprising failure modes. A well-known example of such failure modes is their inability to length-generalize: solving problem instances at inference time that are longer than those seen during training. In this work, we further explore the root cause of this failure by performing a detailed analysis of model behaviors on the simple parity task. Our analysis suggests that length generalization failures are intricately related to a model's inability to perform random memory accesses within its context window. We present supporting evidence for this hypothesis by demonstrating the effectiveness of methodologies that circumvent the need for indexing or that enable random token access indirectly, through content-based addressing. We further show where and how the failure to perform random memory access manifests through attention map visualizations.