Infini-gram mini: Busca Exata de n-gramas em Escala de Internet com FM-Index

Infini-gram mini: Exact n-gram Search at the Internet Scale with FM-Index

June 13, 2025

Autores: Hao Xu, Jiacheng Liu, Yejin Choi, Noah A. Smith, Hannaneh Hajishirzi

cs.AI

Resumo

Os modelos de linguagem são treinados principalmente em grandes volumes de dados textuais da Internet, e torna-se cada vez mais importante compreender essa fonte de dados. Os mecanismos de busca por correspondência exata permitem pesquisar em grandes corpora de texto — contando as ocorrências de strings e recuperando os documentos que as contêm —, mas o alto custo de armazenamento dificulta sua aplicação em dados de escala da Internet. Apresentamos o Infini-gram mini, um sistema eficiente e escalável que torna pesquisáveis corpora de texto em nível de petabytes. Baseado na estrutura de dados FM-index (Ferragina e Manzini, 2000), que indexa e comprime texto simultaneamente, nosso sistema cria índices com tamanho de apenas 44% do corpus. O Infini-gram mini melhora significativamente a melhor implementação existente do FM-index em termos de velocidade de indexação (18 vezes) e uso de memória durante a indexação (redução de 3,2 vezes) e consultas (reduzido a uma quantidade insignificante). Indexamos 46 TB de texto da Internet em 50 dias com um único nó de CPU de 128 núcleos (ou 19 horas usando 75 desses nós). Mostramos um caso de uso importante do Infini-gram mini em uma análise em larga escala de contaminação de benchmarks. Descobrimos que vários benchmarks centrais de avaliação de modelos de linguagem estão fortemente contaminados em rastreamentos da Internet (até 40% no SQuAD), o que poderia levar a uma superestimação das capacidades dos modelos de linguagem se treinados com esses dados. Hospedamos um boletim de contaminação de benchmarks para compartilhar as taxas de contaminação de muitos benchmarks centrais e contribuídos pela comunidade. Também disponibilizamos uma interface web e um endpoint de API para atender consultas gerais nos índices do Infini-gram mini.

English

Language models are trained mainly on massive text data from the Internet, and it becomes increasingly important to understand this data source. Exact-match search engines enable searching in large text corpora -- counting string appearances and retrieving the enclosing documents -- yet the high storage overhead hinders their application on Internet-scale data. We present Infini-gram mini, an efficient and scalable system that can make petabyte-level text corpora searchable. Based on the FM-index data structure (Ferragina and Manzini, 2000), which simultaneously indexes and compresses text, our system creates indexes with size only 44% of the corpus. Infini-gram mini greatly improves upon the best existing implementation of FM-index in terms of indexing speed (18times) and memory use during both indexing (3.2times reduction) and querying (down to a negligible amount). We index 46TB of Internet text in 50 days with a single 128-core CPU node (or 19 hours if using 75 such nodes). We show one important use case of Infini-gram mini in a large-scale analysis of benchmark contamination. We find several core LM evaluation benchmarks to be heavily contaminated in Internet crawls (up to 40% in SQuAD), which could lead to overestimating the capabilities of language models if trained on such data. We host a benchmark contamination bulletin to share the contamination rate of many core and community-contributed benchmarks. We also release a web interface and an API endpoint to serve general search queries on Infini-gram mini indexes.