Infini-gram: Scalabilità di Modelli Linguistici n-gram Illimitati fino a un Trilione di Token

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens

January 30, 2024

Autori: Jiacheng Liu, Sewon Min, Luke Zettlemoyer, Yejin Choi, Hannaneh Hajishirzi

cs.AI

Abstract

I modelli linguistici n-gram sono ancora rilevanti in questa era dei grandi modelli linguistici neurali (LLM)? La nostra risposta è sì, e ne dimostriamo il valore sia nell'analisi del testo che nel miglioramento dei LLM neurali. Tuttavia, ciò richiede una modernizzazione dei modelli n-gram in due aspetti. Innanzitutto, li addestriamo sulla stessa scala di dati dei LLM neurali — 1,4 trilioni di token. Questo è il più grande modello n-gram mai costruito. In secondo luogo, i modelli n-gram esistenti utilizzano valori di n piccoli che ne limitano le prestazioni; noi invece permettiamo che n sia arbitrariamente grande, introducendo un nuovo modello linguistico infty-gram con backoff. Invece di pre-calcolare le tabelle di conteggio degli n-gram (che sarebbe molto costoso), sviluppiamo un motore chiamato infini-gram — alimentato da array di suffissi — che può calcolare le probabilità degli infty-gram (così come degli n-gram con n arbitrario) con una latenza a livello di millisecondi. Il framework infty-gram e il motore infini-gram ci permettono di condurre molte analisi nuove e interessanti su testi scritti da esseri umani e generati da macchine: scopriamo che il modello linguistico infty-gram ha un'accuratezza piuttosto elevata nella previsione del token successivo (47%) e può integrare i LLM neurali per ridurre notevolmente le loro perplessità nella modellazione del linguaggio. Quando analizziamo testi generati da macchine, osserviamo anche irregolarità nel livello di accordo macchina–infty-gram rispetto alla lunghezza del suffisso, il che indica carenze nel pre-addestramento dei LLM neurali e negli embedding posizionali dei Transformer. Rendiamo open-source il nostro motore infini-gram nella speranza di favorire ulteriori studi su come utilizzare al meglio le informazioni verbatim estratte da grandi corpora testuali.

English

Are n-gram language models still relevant in this era of neural large language models (LLMs)? Our answer is yes, and we show their values in both text analysis and improving neural LLMs. Yet this necessitates modernizing n-gram models in two aspects. First, we train them at the same data scale as neural LLMs -- 1.4 trillion tokens. This is the largest n-gram model ever built. Second, existing n-gram models use small n which hinders their performance; we instead allow n to be arbitrarily large, by introducing a new infty-gram LM with backoff. Instead of pre-computing n-gram count tables (which would be very expensive), we develop an engine named infini-gram -- powered by suffix arrays -- that can compute infty-gram (as well as n-gram with arbitrary n) probabilities with millisecond-level latency. The infty-gram framework and infini-gram engine enable us to conduct many novel and interesting analyses of human-written and machine-generated text: we find that the infty-gram LM has fairly high accuracy for next-token prediction (47%), and can complement neural LLMs to greatly reduce their language modeling perplexities. When analyzing machine-generated text, we also observe irregularities in the machine--infty-gram agreement level with respect to the suffix length, which indicates deficiencies in neural LLM pretraining and the positional embeddings of Transformers. We open-source our infini-gram engine in the hopes of enabling more study on how to best use verbatim information retrieved from large text corpora.