Libri Istituzionali 1.0: Un dataset da 242 miliardi di token proveniente dalle collezioni della Biblioteca di Harvard, raffinato per precisione e usabilità.

Abstract

I grandi modelli linguistici (LLM) utilizzano dati per apprendere informazioni sul mondo al fine di produrre correlazioni e previsioni significative. Pertanto, la natura, la scala, la qualità e la diversità dei dataset utilizzati per addestrare questi modelli, o per supportare il loro lavoro durante l'inferenza, hanno un impatto diretto sulla loro qualità. Il rapido sviluppo e l'adozione di LLM di qualità variabile hanno messo in evidenza la scarsità di dati di addestramento di alta qualità disponibili pubblicamente e rivelato un urgente bisogno di fondare la gestione di questi dataset su pratiche sostenibili con catene di provenienza chiare. A tal fine, questo rapporto tecnico introduce Institutional Books 1.0, una vasta collezione di libri di pubblico dominio originariamente digitalizzati attraverso la partecipazione della Harvard Library al progetto Google Books, iniziato nel 2006. Collaborando con la Harvard Library, abbiamo estratto, analizzato e processato questi volumi in un dataset ampiamente documentato di testi storici. Questa analisi copre l'intera collezione della Harvard Library scansionata come parte di quel progetto, originariamente composta da 1.075.899 volumi scritti in oltre 250 lingue diverse, per un totale di circa 250 miliardi di token. Come parte di questa prima release, il testo estratto tramite OCR (originale e post-processato) nonché i metadati (bibliografici, di origine e generati) dei 983.004 volumi, o 242 miliardi di token, identificati come di pubblico dominio, sono stati resi disponibili. Questo rapporto descrive gli obiettivi e i metodi del progetto, nonché i risultati delle analisi svolte, tutto al fine di rendere questa collezione storica più accessibile e più facile da filtrare, leggere e utilizzare sia per gli esseri umani che per le macchine.

English

Large language models (LLMs) use data to learn about the world in order to produce meaningful correlations and predictions. As such, the nature, scale, quality, and diversity of the datasets used to train these models, or to support their work at inference time, have a direct impact on their quality. The rapid development and adoption of LLMs of varying quality has brought into focus the scarcity of publicly available, high-quality training data and revealed an urgent need to ground the stewardship of these datasets in sustainable practices with clear provenance chains. To that end, this technical report introduces Institutional Books 1.0, a large collection of public domain books originally digitized through Harvard Library's participation in the Google Books project, beginning in 2006. Working with Harvard Library, we extracted, analyzed, and processed these volumes into an extensively-documented dataset of historic texts. This analysis covers the entirety of Harvard Library's collection scanned as part of that project, originally spanning 1,075,899 volumes written in over 250 different languages for a total of approximately 250 billion tokens. As part of this initial release, the OCR-extracted text (original and post-processed) as well as the metadata (bibliographic, source, and generated) of the 983,004 volumes, or 242B tokens, identified as being in the public domain have been made available. This report describes this project's goals and methods as well as the results of the analyses we performed, all in service of making this historical collection more accessible and easier for humans and machines alike to filter, read and use.

Libri Istituzionali 1.0: Un dataset da 242 miliardi di token proveniente dalle collezioni della Biblioteca di Harvard, raffinato per precisione e usabilità.

Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability

Abstract

Support