Modelos de Lenguaje Grandes como Cadenas de Markov

Large Language Models as Markov Chains

October 3, 2024

Autores: Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko

cs.AI

Resumen

Los modelos de lenguaje de gran tamaño (LLMs) han demostrado ser notablemente eficientes, tanto en una amplia gama de tareas de procesamiento de lenguaje natural como más allá de ellas. Sin embargo, un análisis teórico exhaustivo sobre los orígenes de su impresionante rendimiento sigue siendo esquivo. En este artículo, abordamos esta tarea desafiante al establecer una equivalencia entre modelos de lenguaje autoregresivos genéricos con un vocabulario de tamaño T y una ventana de contexto de tamaño K, y cadenas de Markov definidas en un espacio de estados finitos de tamaño O(T^K). Derivamos varios hallazgos sorprendentes relacionados con la existencia de una distribución estacionaria de las cadenas de Markov que capturan el poder de inferencia de los LLMs, su velocidad de convergencia a esta distribución, y la influencia de la temperatura en esta última. Luego demostramos límites de pre-entrenamiento y generalización en contexto, y mostramos cómo la equivalencia establecida nos permite enriquecer su interpretación. Finalmente, ilustramos nuestras garantías teóricas con experimentos en varios LLMs recientes para resaltar cómo capturan el comportamiento observado en la práctica.

English

Large language models (LLMs) have proven to be remarkably efficient, both across a wide range of natural language processing tasks and well beyond them. However, a comprehensive theoretical analysis of the origins of their impressive performance remains elusive. In this paper, we approach this challenging task by drawing an equivalence between generic autoregressive language models with vocabulary of size T and context window of size K and Markov chains defined on a finite state space of size O(T^K). We derive several surprising findings related to the existence of a stationary distribution of Markov chains that capture the inference power of LLMs, their speed of convergence to it, and the influence of the temperature on the latter. We then prove pre-training and in-context generalization bounds and show how the drawn equivalence allows us to enrich their interpretation. Finally, we illustrate our theoretical guarantees with experiments on several recent LLMs to highlight how they capture the behavior observed in practice.