Große Sprachmodelle als Markow-Ketten

Large Language Models as Markov Chains

October 3, 2024

Autoren: Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben sich als bemerkenswert effizient erwiesen, sowohl bei einer Vielzahl von natürlichsprachlichen Verarbeitungsaufgaben als auch weit darüber hinaus. Dennoch bleibt eine umfassende theoretische Analyse der Ursprünge ihrer beeindruckenden Leistungsfähigkeit bisher schwer fassbar. In diesem Artikel nähern wir uns dieser anspruchsvollen Aufgabe, indem wir eine Äquivalenz zwischen generischen autoregressiven Sprachmodellen mit einem Vokabular der Größe T und einem Kontextfenster der Größe K sowie Markow-Ketten herstellen, die auf einem endlichen Zustandsraum der Größe O(T^K) definiert sind. Wir leiten mehrere überraschende Erkenntnisse ab, die mit der Existenz einer stationären Verteilung von Markow-Ketten zusammenhängen, die die Inferenzleistung von LLMs erfassen, deren Konvergenzgeschwindigkeit zu dieser Verteilung und den Einfluss der Temperatur darauf. Anschließend beweisen wir Vorabtrainings- und In-Context-Verallgemeinerungsgrenzen und zeigen, wie die gezogene Äquivalenz es uns ermöglicht, ihre Interpretation zu bereichern. Schließlich veranschaulichen wir unsere theoretischen Garantien mit Experimenten an mehreren aktuellen LLMs, um zu verdeutlichen, wie sie das beobachtete Verhalten in der Praxis erfassen.

English

Large language models (LLMs) have proven to be remarkably efficient, both across a wide range of natural language processing tasks and well beyond them. However, a comprehensive theoretical analysis of the origins of their impressive performance remains elusive. In this paper, we approach this challenging task by drawing an equivalence between generic autoregressive language models with vocabulary of size T and context window of size K and Markov chains defined on a finite state space of size O(T^K). We derive several surprising findings related to the existence of a stationary distribution of Markov chains that capture the inference power of LLMs, their speed of convergence to it, and the influence of the temperature on the latter. We then prove pre-training and in-context generalization bounds and show how the drawn equivalence allows us to enrich their interpretation. Finally, we illustrate our theoretical guarantees with experiments on several recent LLMs to highlight how they capture the behavior observed in practice.