Большие языковые модели как цепи Маркова.

Large Language Models as Markov Chains

October 3, 2024

Авторы: Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko

cs.AI

Аннотация

Большие языковые модели (LLM) доказали свою выдающуюся эффективность как в широком спектре задач обработки естественного языка, так и за их пределами. Тем не менее, полный теоретический анализ источников их впечатляющей производительности остается неясным. В данной статье мы подходим к этой сложной задаче, устанавливая эквивалентность между общими авторегрессионными языковыми моделями с словарем размера T и окном контекста размера K и марковскими цепями, определенными на конечном пространстве состояний размера O(T^K). Мы получаем несколько удивительных результатов, связанных с существованием стационарного распределения марковских цепей, отражающих вычислительную мощь LLM, их скоростью сходимости к нему, а также влиянием температуры на последнее. Затем мы доказываем предварительные ограничения и обобщения в контексте и показываем, как установленная эквивалентность позволяет нам обогатить их интерпретацию. Наконец, мы иллюстрируем наши теоретические гарантии экспериментами на нескольких недавних LLM, чтобы подчеркнуть, как они отражают наблюдаемое поведение на практике.

English

Large language models (LLMs) have proven to be remarkably efficient, both across a wide range of natural language processing tasks and well beyond them. However, a comprehensive theoretical analysis of the origins of their impressive performance remains elusive. In this paper, we approach this challenging task by drawing an equivalence between generic autoregressive language models with vocabulary of size T and context window of size K and Markov chains defined on a finite state space of size O(T^K). We derive several surprising findings related to the existence of a stationary distribution of Markov chains that capture the inference power of LLMs, their speed of convergence to it, and the influence of the temperature on the latter. We then prove pre-training and in-context generalization bounds and show how the drawn equivalence allows us to enrich their interpretation. Finally, we illustrate our theoretical guarantees with experiments on several recent LLMs to highlight how they capture the behavior observed in practice.