Institutional Books 1.0 : Un ensemble de données de 242 milliards de tokens issus des collections de la bibliothèque de Harvard, affiné pour la précision et l'utilisabilité.

Résumé

Les grands modèles de langage (LLMs) utilisent des données pour apprendre sur le monde afin de produire des corrélations et des prédictions significatives. Ainsi, la nature, l'échelle, la qualité et la diversité des ensembles de données utilisés pour entraîner ces modèles, ou pour soutenir leur travail au moment de l'inférence, ont un impact direct sur leur qualité. Le développement rapide et l'adoption de LLMs de qualité variable ont mis en lumière la rareté des données d'entraînement de haute qualité disponibles publiquement et révélé un besoin urgent d'ancrer la gestion de ces ensembles de données dans des pratiques durables avec des chaînes de provenance claires. À cette fin, ce rapport technique présente Institutional Books 1.0, une vaste collection de livres du domaine public initialement numérisés grâce à la participation de la bibliothèque de Harvard au projet Google Books, commencé en 2006. En collaboration avec la bibliothèque de Harvard, nous avons extrait, analysé et traité ces volumes en un ensemble de données de textes historiques largement documenté. Cette analyse couvre l'intégralité de la collection de la bibliothèque de Harvard numérisée dans le cadre de ce projet, comprenant à l'origine 1 075 899 volumes écrits dans plus de 250 langues différentes, pour un total d'environ 250 milliards de tokens. Dans le cadre de cette première version, le texte extrait par OCR (original et post-traité) ainsi que les métadonnées (bibliographiques, sources et générées) des 983 004 volumes, soit 242 milliards de tokens, identifiés comme étant dans le domaine public, ont été rendus disponibles. Ce rapport décrit les objectifs et les méthodes de ce projet ainsi que les résultats des analyses que nous avons effectuées, le tout dans le but de rendre cette collection historique plus accessible et plus facile à filtrer, lire et utiliser, tant pour les humains que pour les machines.

English

Large language models (LLMs) use data to learn about the world in order to produce meaningful correlations and predictions. As such, the nature, scale, quality, and diversity of the datasets used to train these models, or to support their work at inference time, have a direct impact on their quality. The rapid development and adoption of LLMs of varying quality has brought into focus the scarcity of publicly available, high-quality training data and revealed an urgent need to ground the stewardship of these datasets in sustainable practices with clear provenance chains. To that end, this technical report introduces Institutional Books 1.0, a large collection of public domain books originally digitized through Harvard Library's participation in the Google Books project, beginning in 2006. Working with Harvard Library, we extracted, analyzed, and processed these volumes into an extensively-documented dataset of historic texts. This analysis covers the entirety of Harvard Library's collection scanned as part of that project, originally spanning 1,075,899 volumes written in over 250 different languages for a total of approximately 250 billion tokens. As part of this initial release, the OCR-extracted text (original and post-processed) as well as the metadata (bibliographic, source, and generated) of the 983,004 volumes, or 242B tokens, identified as being in the public domain have been made available. This report describes this project's goals and methods as well as the results of the analyses we performed, all in service of making this historical collection more accessible and easier for humans and machines alike to filter, read and use.

Institutional Books 1.0 : Un ensemble de données de 242 milliards de tokens issus des collections de la bibliothèque de Harvard, affiné pour la précision et l'utilisabilité.

Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability

Résumé

Support