Infini-gram: Escalonando Modelos de Linguagem de n-gramas Ilimitados para um Trilhão de Tokens

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

January 30, 2024

Autores: Jiacheng Liu, Sewon Min, Luke Zettlemoyer, Yejin Choi, Hannaneh Hajishirzi

cs.AI

Resumo

Os modelos de linguagem baseados em n-gramas ainda são relevantes nesta era dos grandes modelos de linguagem neural (LLMs)? Nossa resposta é sim, e demonstramos seu valor tanto na análise de texto quanto na melhoria dos LLMs neurais. No entanto, isso exige a modernização dos modelos n-gramas em dois aspectos. Primeiro, nós os treinamos na mesma escala de dados que os LLMs neurais — 1,4 trilhão de tokens. Este é o maior modelo n-grama já construído. Segundo, os modelos n-gramas existentes usam valores pequenos de n, o que limita seu desempenho; em vez disso, permitimos que n seja arbitrariamente grande, introduzindo um novo modelo de linguagem infty-gram com backoff. Em vez de pré-calcular tabelas de contagem de n-gramas (o que seria muito caro), desenvolvemos um mecanismo chamado infini-gram — baseado em arrays de sufixos — que pode calcular probabilidades de infty-gram (bem como de n-gramas com n arbitrário) com latência em nível de milissegundos. O framework infty-gram e o mecanismo infini-gram nos permitem realizar muitas análises novas e interessantes de textos escritos por humanos e gerados por máquinas: descobrimos que o modelo infty-gram tem uma precisão bastante alta para a previsão do próximo token (47%) e pode complementar os LLMs neurais para reduzir significativamente suas perplexidades na modelagem de linguagem. Ao analisar textos gerados por máquinas, também observamos irregularidades no nível de concordância entre a máquina e o infty-gram em relação ao comprimento do sufixo, o que indica deficiências no pré-treinamento dos LLMs neurais e nos embeddings posicionais dos Transformers. Disponibilizamos nosso mecanismo infini-gram como código aberto na esperança de permitir mais estudos sobre como melhor usar informações textuais recuperadas de grandes corpora de texto.

English

Are n-gram language models still relevant in this era of neural large language models (LLMs)? Our answer is yes, and we show their values in both text analysis and improving neural LLMs. Yet this necessitates modernizing n-gram models in two aspects. First, we train them at the same data scale as neural LLMs -- 1.4 trillion tokens. This is the largest n-gram model ever built. Second, existing n-gram models use small n which hinders their performance; we instead allow n to be arbitrarily large, by introducing a new infty-gram LM with backoff. Instead of pre-computing n-gram count tables (which would be very expensive), we develop an engine named infini-gram -- powered by suffix arrays -- that can compute infty-gram (as well as n-gram with arbitrary n) probabilities with millisecond-level latency. The infty-gram framework and infini-gram engine enable us to conduct many novel and interesting analyses of human-written and machine-generated text: we find that the infty-gram LM has fairly high accuracy for next-token prediction (47%), and can complement neural LLMs to greatly reduce their language modeling perplexities. When analyzing machine-generated text, we also observe irregularities in the machine--infty-gram agreement level with respect to the suffix length, which indicates deficiencies in neural LLM pretraining and the positional embeddings of Transformers. We open-source our infini-gram engine in the hopes of enabling more study on how to best use verbatim information retrieved from large text corpora.