Grandi modelli linguistici come catene di Markov

Large Language Models as Markov Chains

October 3, 2024

Autori: Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato di essere straordinariamente efficienti, sia in una vasta gamma di compiti di elaborazione del linguaggio naturale che oltre ad essi. Tuttavia, un'analisi teorica completa delle origini delle loro prestazioni impressionanti rimane sfuggente. In questo articolo, affrontiamo questo compito impegnativo stabilendo un'equivalenza tra modelli linguistici autoregressivi generici con vocabolario di dimensione T e finestra di contesto di dimensione K e catene di Markov definite su uno spazio di stati finito di dimensione O(T^K). Otteniamo diversi risultati sorprendenti relativi all'esistenza di una distribuzione stazionaria delle catene di Markov che catturano il potere inferenziale dei LLM, la loro velocità di convergenza ad essa e l'influenza della temperatura su quest'ultima. Successivamente dimostriamo vincoli di pre-addestramento e generalizzazione contestuale e mostriamo come l'equivalenza stabilita ci permetta di arricchirne l'interpretazione. Infine, illustreremo le nostre garanzie teoriche con esperimenti su diversi LLM recenti per evidenziare come essi catturino il comportamento osservato in pratica.

English

Large language models (LLMs) have proven to be remarkably efficient, both across a wide range of natural language processing tasks and well beyond them. However, a comprehensive theoretical analysis of the origins of their impressive performance remains elusive. In this paper, we approach this challenging task by drawing an equivalence between generic autoregressive language models with vocabulary of size T and context window of size K and Markov chains defined on a finite state space of size O(T^K). We derive several surprising findings related to the existence of a stationary distribution of Markov chains that capture the inference power of LLMs, their speed of convergence to it, and the influence of the temperature on the latter. We then prove pre-training and in-context generalization bounds and show how the drawn equivalence allows us to enrich their interpretation. Finally, we illustrate our theoretical guarantees with experiments on several recent LLMs to highlight how they capture the behavior observed in practice.