Infini-gram: Onbeperkte n-gram Taalmodellen Schalen naar een Biljoen Tokens

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

January 30, 2024

Auteurs: Jiacheng Liu, Sewon Min, Luke Zettlemoyer, Yejin Choi, Hannaneh Hajishirzi

cs.AI

Samenvatting

Zijn n-gram taalmodelle nog relevant in dit tijdperk van neurale grote taalmodelle (LLM's)? Ons antwoord is ja, en we tonen hun waarde aan in zowel tekstanalyse als het verbeteren van neurale LLM's. Dit vereist echter een modernisering van n-gram modelle in twee opzichten. Ten eerste trainen we ze op dezelfde dataschaal als neurale LLM's -- 1,4 biljoen tokens. Dit is het grootste n-gram model ooit gebouwd. Ten tweede gebruiken bestaande n-gram modelle kleine n-waarden, wat hun prestaties belemmert; wij laten in plaats daarvan n willekeurig groot zijn door een nieuw infty-gram LM met backoff te introduceren. In plaats van vooraf berekende n-gram frequentietabellen te gebruiken (wat zeer kostbaar zou zijn), ontwikkelen we een engine genaamd infini-gram -- aangedreven door suffix arrays -- die infty-gram (evenals n-gram met willekeurige n) waarschijnlijkheden kan berekenen met een latentie op milliseconde-niveau. Het infty-gram framework en de infini-gram engine stellen ons in staat om veel nieuwe en interessante analyses uit te voeren van door mensen geschreven en door machines gegenereerde tekst: we ontdekken dat het infty-gram LM een redelijk hoge nauwkeurigheid heeft voor voorspelling van het volgende token (47%), en neurale LLM's kan aanvullen om hun taalmodelleringperplexiteiten aanzienlijk te verminderen. Bij het analyseren van door machines gegenereerde tekst observeren we ook onregelmatigheden in de overeenstemmingsniveaus tussen de machine en infty-gram met betrekking tot de suffixlengte, wat tekortkomingen aangeeft in de voorbereiding van neurale LLM's en de positionele embeddings van Transformers. We maken onze infini-gram engine open source in de hoop meer onderzoek mogelijk te maken naar hoe letterlijke informatie uit grote tekstcorpora het beste kan worden gebruikt.

English

Are n-gram language models still relevant in this era of neural large language models (LLMs)? Our answer is yes, and we show their values in both text analysis and improving neural LLMs. Yet this necessitates modernizing n-gram models in two aspects. First, we train them at the same data scale as neural LLMs -- 1.4 trillion tokens. This is the largest n-gram model ever built. Second, existing n-gram models use small n which hinders their performance; we instead allow n to be arbitrarily large, by introducing a new infty-gram LM with backoff. Instead of pre-computing n-gram count tables (which would be very expensive), we develop an engine named infini-gram -- powered by suffix arrays -- that can compute infty-gram (as well as n-gram with arbitrary n) probabilities with millisecond-level latency. The infty-gram framework and infini-gram engine enable us to conduct many novel and interesting analyses of human-written and machine-generated text: we find that the infty-gram LM has fairly high accuracy for next-token prediction (47%), and can complement neural LLMs to greatly reduce their language modeling perplexities. When analyzing machine-generated text, we also observe irregularities in the machine--infty-gram agreement level with respect to the suffix length, which indicates deficiencies in neural LLM pretraining and the positional embeddings of Transformers. We open-source our infini-gram engine in the hopes of enabling more study on how to best use verbatim information retrieved from large text corpora.