Infini-gram: Escalando Modelos de Lenguaje de n-gramas Ilimitados a un Billón de Tokens

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

January 30, 2024

Autores: Jiacheng Liu, Sewon Min, Luke Zettlemoyer, Yejin Choi, Hannaneh Hajishirzi

cs.AI

Resumen

¿Siguen siendo relevantes los modelos de lenguaje basados en n-gramas en esta era de los grandes modelos de lenguaje neuronal (LLMs)? Nuestra respuesta es sí, y demostramos su valor tanto en el análisis de texto como en la mejora de los LLMs neuronales. Sin embargo, esto requiere modernizar los modelos de n-gramas en dos aspectos. Primero, los entrenamos con la misma escala de datos que los LLMs neuronales: 1.4 billones de tokens. Este es el modelo de n-gramas más grande jamás construido. Segundo, los modelos de n-gramas existentes utilizan valores pequeños de n, lo que limita su rendimiento; en su lugar, permitimos que n sea arbitrariamente grande, introduciendo un nuevo modelo de lenguaje infty-gram con retroceso (backoff). En lugar de precalcular tablas de conteo de n-gramas (lo cual sería muy costoso), desarrollamos un motor llamado infini-gram —basado en arreglos de sufijos— que puede calcular probabilidades de infty-gram (así como de n-gram con n arbitrario) con una latencia de nivel de milisegundos. El marco de infty-gram y el motor infini-gram nos permiten realizar muchos análisis novedosos e interesantes sobre texto escrito por humanos y generado por máquinas: encontramos que el modelo de lenguaje infty-gram tiene una precisión bastante alta para la predicción del siguiente token (47%), y puede complementar a los LLMs neuronales para reducir significativamente sus perplejidades en el modelado del lenguaje. Al analizar texto generado por máquinas, también observamos irregularidades en el nivel de concordancia entre la máquina y el infty-gram con respecto a la longitud del sufijo, lo que indica deficiencias en el preentrenamiento de los LLMs neuronales y en los embeddings posicionales de los Transformers. Hemos liberado nuestro motor infini-gram como código abierto con la esperanza de fomentar más estudios sobre cómo utilizar mejor la información textual recuperada de grandes corpus de texto.

English

Are n-gram language models still relevant in this era of neural large language models (LLMs)? Our answer is yes, and we show their values in both text analysis and improving neural LLMs. Yet this necessitates modernizing n-gram models in two aspects. First, we train them at the same data scale as neural LLMs -- 1.4 trillion tokens. This is the largest n-gram model ever built. Second, existing n-gram models use small n which hinders their performance; we instead allow n to be arbitrarily large, by introducing a new infty-gram LM with backoff. Instead of pre-computing n-gram count tables (which would be very expensive), we develop an engine named infini-gram -- powered by suffix arrays -- that can compute infty-gram (as well as n-gram with arbitrary n) probabilities with millisecond-level latency. The infty-gram framework and infini-gram engine enable us to conduct many novel and interesting analyses of human-written and machine-generated text: we find that the infty-gram LM has fairly high accuracy for next-token prediction (47%), and can complement neural LLMs to greatly reduce their language modeling perplexities. When analyzing machine-generated text, we also observe irregularities in the machine--infty-gram agreement level with respect to the suffix length, which indicates deficiencies in neural LLM pretraining and the positional embeddings of Transformers. We open-source our infini-gram engine in the hopes of enabling more study on how to best use verbatim information retrieved from large text corpora.