Grote Taalmodellen als Markovketens

Large Language Models as Markov Chains

October 3, 2024

Auteurs: Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben zich opmerkelijk efficiënt bewezen, zowel bij een breed scala aan taken voor natuurlijke taalverwerking als ver daarbuiten. Een uitgebreide theoretische analyse van de oorsprong van hun indrukwekkende prestaties blijft echter ongrijpbaar. In dit artikel benaderen we deze uitdagende taak door een equivalentie te trekken tussen generieke autoregressieve taalmodellen met een woordenschat van omvang T en een contextvenster van omvang K, en Markovketens gedefinieerd op een eindige toestandsruimte van omvang O(T^K). We leiden verschillende verrassende bevindingen af met betrekking tot het bestaan van een stationaire verdeling van Markovketens die de inferentiekracht van LLM's vastleggen, hun snelheid van convergentie daarnaartoe, en de invloed van de temperatuur daarop. Vervolgens bewijzen we pre-training en in-context generalisatiegrenzen en tonen we hoe de getrokken equivalentie ons in staat stelt om hun interpretatie te verrijken. Tot slot illustreren we onze theoretische garanties met experimenten op verschillende recente LLM's om te benadrukken hoe ze het waargenomen gedrag in de praktijk vastleggen.

English

Large language models (LLMs) have proven to be remarkably efficient, both across a wide range of natural language processing tasks and well beyond them. However, a comprehensive theoretical analysis of the origins of their impressive performance remains elusive. In this paper, we approach this challenging task by drawing an equivalence between generic autoregressive language models with vocabulary of size T and context window of size K and Markov chains defined on a finite state space of size O(T^K). We derive several surprising findings related to the existence of a stationary distribution of Markov chains that capture the inference power of LLMs, their speed of convergence to it, and the influence of the temperature on the latter. We then prove pre-training and in-context generalization bounds and show how the drawn equivalence allows us to enrich their interpretation. Finally, we illustrate our theoretical guarantees with experiments on several recent LLMs to highlight how they capture the behavior observed in practice.