Les grands modèles de langage en tant que chaînes de Markov

Large Language Models as Markov Chains

October 3, 2024

Auteurs: Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko

cs.AI

Résumé

Les grands modèles de langage (LLM) se sont avérés remarquablement efficaces, à la fois dans une large gamme de tâches de traitement du langage naturel et au-delà. Cependant, une analyse théorique approfondie des origines de leurs performances impressionnantes reste insaisissable. Dans cet article, nous abordons cette tâche complexe en établissant une équivalence entre les modèles de langage autoregressifs génériques avec un vocabulaire de taille T et une fenêtre contextuelle de taille K, et les chaînes de Markov définies sur un espace d'états fini de taille O(T^K). Nous obtenons plusieurs résultats surprenants concernant l'existence d'une distribution stationnaire des chaînes de Markov qui capture le pouvoir d'inférence des LLM, leur vitesse de convergence vers celle-ci, et l'influence de la température sur cette dernière. Nous prouvons ensuite des bornes de pré-entraînement et de généralisation en contexte, et montrons comment l'équivalence établie nous permet d'enrichir leur interprétation. Enfin, nous illustrons nos garanties théoriques avec des expériences sur plusieurs LLM récents pour mettre en lumière comment ils capturent le comportement observé en pratique.

English

Large language models (LLMs) have proven to be remarkably efficient, both across a wide range of natural language processing tasks and well beyond them. However, a comprehensive theoretical analysis of the origins of their impressive performance remains elusive. In this paper, we approach this challenging task by drawing an equivalence between generic autoregressive language models with vocabulary of size T and context window of size K and Markov chains defined on a finite state space of size O(T^K). We derive several surprising findings related to the existence of a stationary distribution of Markov chains that capture the inference power of LLMs, their speed of convergence to it, and the influence of the temperature on the latter. We then prove pre-training and in-context generalization bounds and show how the drawn equivalence allows us to enrich their interpretation. Finally, we illustrate our theoretical guarantees with experiments on several recent LLMs to highlight how they capture the behavior observed in practice.