Libros Institucionales 1.0: Un conjunto de datos de 242B tokens extraídos de las colecciones de la Biblioteca de Harvard, refinado para precisión y usabilidad

Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability

June 10, 2025

Autores: Matteo Cargnelutti, Catherine Brobston, John Hess, Jack Cushman, Kristi Mukk, Aristana Scourtas, Kyle Courtney, Greg Leppert, Amanda Watson, Martha Whitehead, Jonathan Zittrain

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) utilizan datos para aprender sobre el mundo con el fin de producir correlaciones y predicciones significativas. Como tal, la naturaleza, escala, calidad y diversidad de los conjuntos de datos utilizados para entrenar estos modelos, o para respaldar su funcionamiento durante la inferencia, tienen un impacto directo en su calidad. El rápido desarrollo y adopción de LLMs de calidad variable ha puesto de manifiesto la escasez de datos de entrenamiento de alta calidad disponibles públicamente y ha revelado la necesidad urgente de fundamentar la gestión de estos conjuntos de datos en prácticas sostenibles con cadenas de procedencia claras. Con este fin, este informe técnico presenta Institutional Books 1.0, una gran colección de libros de dominio público originalmente digitalizados a través de la participación de la Biblioteca de Harvard en el proyecto Google Books, que comenzó en 2006. En colaboración con la Biblioteca de Harvard, extrajimos, analizamos y procesamos estos volúmenes en un conjunto de datos extensamente documentado de textos históricos. Este análisis abarca la totalidad de la colección de la Biblioteca de Harvard escaneada como parte de ese proyecto, que originalmente comprendía 1,075,899 volúmenes escritos en más de 250 idiomas diferentes, con un total de aproximadamente 250 mil millones de tokens. Como parte de esta primera publicación, el texto extraído mediante OCR (original y postprocesado), así como los metadatos (bibliográficos, de origen y generados) de los 983,004 volúmenes, o 242 mil millones de tokens, identificados como de dominio público, han sido puestos a disposición. Este informe describe los objetivos y métodos de este proyecto, así como los resultados de los análisis realizados, todo con el propósito de hacer que esta colección histórica sea más accesible y más fácil de filtrar, leer y utilizar tanto para humanos como para máquinas.

English

Large language models (LLMs) use data to learn about the world in order to produce meaningful correlations and predictions. As such, the nature, scale, quality, and diversity of the datasets used to train these models, or to support their work at inference time, have a direct impact on their quality. The rapid development and adoption of LLMs of varying quality has brought into focus the scarcity of publicly available, high-quality training data and revealed an urgent need to ground the stewardship of these datasets in sustainable practices with clear provenance chains. To that end, this technical report introduces Institutional Books 1.0, a large collection of public domain books originally digitized through Harvard Library's participation in the Google Books project, beginning in 2006. Working with Harvard Library, we extracted, analyzed, and processed these volumes into an extensively-documented dataset of historic texts. This analysis covers the entirety of Harvard Library's collection scanned as part of that project, originally spanning 1,075,899 volumes written in over 250 different languages for a total of approximately 250 billion tokens. As part of this initial release, the OCR-extracted text (original and post-processed) as well as the metadata (bibliographic, source, and generated) of the 983,004 volumes, or 242B tokens, identified as being in the public domain have been made available. This report describes this project's goals and methods as well as the results of the analyses we performed, all in service of making this historical collection more accessible and easier for humans and machines alike to filter, read and use.