Institutional Books 1.0: Um conjunto de dados de 242 bilhões de tokens das coleções da Biblioteca de Harvard, refinado para precisão e usabilidade.

Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability

June 10, 2025

Autores: Matteo Cargnelutti, Catherine Brobston, John Hess, Jack Cushman, Kristi Mukk, Aristana Scourtas, Kyle Courtney, Greg Leppert, Amanda Watson, Martha Whitehead, Jonathan Zittrain

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) utilizam dados para aprender sobre o mundo a fim de produzir correlações e previsões significativas. Dessa forma, a natureza, escala, qualidade e diversidade dos conjuntos de dados usados para treinar esses modelos, ou para apoiar seu funcionamento durante a inferência, têm um impacto direto em sua qualidade. O rápido desenvolvimento e adoção de LLMs de qualidade variada trouxeram à tona a escassez de dados de treinamento de alta qualidade disponíveis publicamente e revelaram a necessidade urgente de fundamentar a gestão desses conjuntos de dados em práticas sustentáveis com cadeias de proveniência claras. Para esse fim, este relatório técnico apresenta o Institutional Books 1.0, uma grande coleção de livros de domínio público originalmente digitalizados por meio da participação da Biblioteca de Harvard no projeto Google Books, iniciado em 2006. Em colaboração com a Biblioteca de Harvard, extraímos, analisamos e processamos esses volumes em um conjunto de dados extensivamente documentado de textos históricos. Essa análise abrange toda a coleção da Biblioteca de Harvard digitalizada como parte desse projeto, originalmente composta por 1.075.899 volumes escritos em mais de 250 idiomas diferentes, totalizando aproximadamente 250 bilhões de tokens. Como parte desta primeira versão, o texto extraído por OCR (original e pós-processado), bem como os metadados (bibliográficos, de origem e gerados) dos 983.004 volumes, ou 242 bilhões de tokens, identificados como sendo de domínio público, foram disponibilizados. Este relatório descreve os objetivos e métodos deste projeto, bem como os resultados das análises realizadas, tudo com o intuito de tornar esta coleção histórica mais acessível e mais fácil de filtrar, ler e utilizar tanto por humanos quanto por máquinas.

English

Large language models (LLMs) use data to learn about the world in order to produce meaningful correlations and predictions. As such, the nature, scale, quality, and diversity of the datasets used to train these models, or to support their work at inference time, have a direct impact on their quality. The rapid development and adoption of LLMs of varying quality has brought into focus the scarcity of publicly available, high-quality training data and revealed an urgent need to ground the stewardship of these datasets in sustainable practices with clear provenance chains. To that end, this technical report introduces Institutional Books 1.0, a large collection of public domain books originally digitized through Harvard Library's participation in the Google Books project, beginning in 2006. Working with Harvard Library, we extracted, analyzed, and processed these volumes into an extensively-documented dataset of historic texts. This analysis covers the entirety of Harvard Library's collection scanned as part of that project, originally spanning 1,075,899 volumes written in over 250 different languages for a total of approximately 250 billion tokens. As part of this initial release, the OCR-extracted text (original and post-processed) as well as the metadata (bibliographic, source, and generated) of the 983,004 volumes, or 242B tokens, identified as being in the public domain have been made available. This report describes this project's goals and methods as well as the results of the analyses we performed, all in service of making this historical collection more accessible and easier for humans and machines alike to filter, read and use.