Infini-gram: Skalierung unbegrenzter n-Gramm-Sprachmodelle auf eine Billion Tokens

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

January 30, 2024

Autoren: Jiacheng Liu, Sewon Min, Luke Zettlemoyer, Yejin Choi, Hannaneh Hajishirzi

cs.AI

Zusammenfassung

Sind n-Gramm-Sprachmodelle in dieser Ära von neuronalen großen Sprachmodellen (LLMs) noch relevant? Unsere Antwort lautet ja, und wir zeigen ihren Wert sowohl in der Textanalyse als auch bei der Verbesserung neuronaler LLMs. Dies erfordert jedoch eine Modernisierung von n-Gramm-Modellen in zwei Aspekten. Erstens trainieren wir sie im gleichen Datenumfang wie neuronale LLMs – 1,4 Billionen Tokens. Dies ist das größte jemals gebaute n-Gramm-Modell. Zweitens verwenden bestehende n-Gramm-Modelle kleine n-Werte, was ihre Leistung beeinträchtigt; wir erlauben stattdessen, dass n beliebig groß sein kann, indem wir ein neues infty-Gramm-LM mit Backoff einführen. Anstatt n-Gramm-Zähltabellen vorab zu berechnen (was sehr kostspielig wäre), entwickeln wir eine Engine namens infini-gram – angetrieben durch Suffix-Arrays –, die infty-Gramm- (sowie n-Gramm- mit beliebigem n) Wahrscheinlichkeiten mit Millisekunden-Latenz berechnen kann. Das infty-Gramm-Framework und die infini-gram-Engine ermöglichen es uns, viele neue und interessante Analysen von menschengeschriebenem und maschinell generiertem Text durchzuführen: Wir stellen fest, dass das infty-Gramm-LM eine recht hohe Genauigkeit bei der Vorhersage des nächsten Tokens aufweist (47 %) und neuronale LLMs ergänzen kann, um deren Sprachmodellierungs-Perplexitäten erheblich zu reduzieren. Bei der Analyse von maschinell generiertem Text beobachten wir auch Unregelmäßigkeiten in der Übereinstimmungsstufe zwischen Maschine und infty-Gramm in Bezug auf die Suffixlänge, was auf Mängel im Pretraining neuronaler LLMs und in den Positions-Embeddings von Transformern hinweist. Wir veröffentlichen unsere infini-gram-Engine als Open Source in der Hoffnung, weitere Studien darüber zu ermöglichen, wie man wortgetreue Informationen aus großen Textkorpora am besten nutzen kann.

English

Are n-gram language models still relevant in this era of neural large language models (LLMs)? Our answer is yes, and we show their values in both text analysis and improving neural LLMs. Yet this necessitates modernizing n-gram models in two aspects. First, we train them at the same data scale as neural LLMs -- 1.4 trillion tokens. This is the largest n-gram model ever built. Second, existing n-gram models use small n which hinders their performance; we instead allow n to be arbitrarily large, by introducing a new infty-gram LM with backoff. Instead of pre-computing n-gram count tables (which would be very expensive), we develop an engine named infini-gram -- powered by suffix arrays -- that can compute infty-gram (as well as n-gram with arbitrary n) probabilities with millisecond-level latency. The infty-gram framework and infini-gram engine enable us to conduct many novel and interesting analyses of human-written and machine-generated text: we find that the infty-gram LM has fairly high accuracy for next-token prediction (47%), and can complement neural LLMs to greatly reduce their language modeling perplexities. When analyzing machine-generated text, we also observe irregularities in the machine--infty-gram agreement level with respect to the suffix length, which indicates deficiencies in neural LLM pretraining and the positional embeddings of Transformers. We open-source our infini-gram engine in the hopes of enabling more study on how to best use verbatim information retrieved from large text corpora.