Infini-gram: Масштабирование неограниченных n-граммных языковых моделей до триллиона токенов

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

January 30, 2024

Авторы: Jiacheng Liu, Sewon Min, Luke Zettlemoyer, Yejin Choi, Hannaneh Hajishirzi

cs.AI

Аннотация

Сохраняют ли n-граммные языковые модели актуальность в эпоху нейронных больших языковых моделей (LLM)? Наш ответ — да, и мы демонстрируем их ценность как для анализа текста, так и для улучшения нейронных LLM. Однако это требует модернизации n-граммных моделей в двух аспектах. Во-первых, мы обучаем их на том же объеме данных, что и нейронные LLM — 1,4 триллиона токенов. Это самая крупная n-граммная модель из когда-либо созданных. Во-вторых, существующие n-граммные модели используют небольшое значение n, что ограничивает их производительность; вместо этого мы позволяем n быть сколь угодно большим, введя новую infty-граммную модель с откатом. Вместо предварительного вычисления таблиц подсчета n-грамм (что было бы очень затратно), мы разработали движок под названием infini-gram, основанный на суффиксных массивах, который может вычислять вероятности infty-грамм (а также n-грамм с произвольным n) с задержкой на уровне миллисекунд. Фреймворк infty-gram и движок infini-gram позволяют нам проводить множество новых и интересных анализов текста, написанного человеком и сгенерированного машиной: мы обнаруживаем, что infty-граммная модель демонстрирует довольно высокую точность в предсказании следующего токена (47%) и может дополнять нейронные LLM, значительно снижая их перплексию в моделировании языка. При анализе машинно-сгенерированного текста мы также наблюдаем аномалии в уровне согласованности между машиной и infty-граммной моделью в зависимости от длины суффикса, что указывает на недостатки в предобучении нейронных LLM и позиционных эмбеддингах трансформеров. Мы открываем исходный код нашего движка infini-gram в надежде на стимулирование дальнейших исследований о том, как наилучшим образом использовать дословную информацию, извлеченную из больших текстовых корпусов.

English

Are n-gram language models still relevant in this era of neural large language models (LLMs)? Our answer is yes, and we show their values in both text analysis and improving neural LLMs. Yet this necessitates modernizing n-gram models in two aspects. First, we train them at the same data scale as neural LLMs -- 1.4 trillion tokens. This is the largest n-gram model ever built. Second, existing n-gram models use small n which hinders their performance; we instead allow n to be arbitrarily large, by introducing a new infty-gram LM with backoff. Instead of pre-computing n-gram count tables (which would be very expensive), we develop an engine named infini-gram -- powered by suffix arrays -- that can compute infty-gram (as well as n-gram with arbitrary n) probabilities with millisecond-level latency. The infty-gram framework and infini-gram engine enable us to conduct many novel and interesting analyses of human-written and machine-generated text: we find that the infty-gram LM has fairly high accuracy for next-token prediction (47%), and can complement neural LLMs to greatly reduce their language modeling perplexities. When analyzing machine-generated text, we also observe irregularities in the machine--infty-gram agreement level with respect to the suffix length, which indicates deficiencies in neural LLM pretraining and the positional embeddings of Transformers. We open-source our infini-gram engine in the hopes of enabling more study on how to best use verbatim information retrieved from large text corpora.