Institutionele Boeken 1.0: Een dataset van 242B tokens uit de collecties van de Harvard Library, verfijnd voor nauwkeurigheid en bruikbaarheid.

Samenvatting

Grote taalmodellen (LLMs) gebruiken data om over de wereld te leren, zodat ze zinvolle correlaties en voorspellingen kunnen produceren. Daarom hebben de aard, schaal, kwaliteit en diversiteit van de datasets die gebruikt worden om deze modellen te trainen, of om hun werk tijdens inferentie te ondersteunen, een directe invloed op hun kwaliteit. De snelle ontwikkeling en adoptie van LLMs van uiteenlopende kwaliteit heeft de schaarste aan publiek beschikbare, hoogwaardige trainingsdata onder de aandacht gebracht en een dringende behoefte blootgelegd om het beheer van deze datasets te verankeren in duurzame praktijken met duidelijke herkomstketens. Met dit doel voor ogen introduceert dit technische rapport Institutional Books 1.0, een grote collectie van boeken in het publieke domein die oorspronkelijk gedigitaliseerd zijn via de deelname van Harvard Library aan het Google Books-project, beginnend in 2006. In samenwerking met Harvard Library hebben we deze volumes geëxtraheerd, geanalyseerd en verwerkt tot een uitgebreid gedocumenteerde dataset van historische teksten. Deze analyse omvat de volledige collectie van Harvard Library die als onderdeel van dat project gescand is, oorspronkelijk bestaande uit 1.075.899 volumes geschreven in meer dan 250 verschillende talen, met in totaal ongeveer 250 miljard tokens. Als onderdeel van deze eerste release zijn de OCR-geëxtraheerde tekst (origineel en na verwerking) evenals de metadata (bibliografisch, bron en gegenereerd) van de 983.004 volumes, of 242 miljard tokens, die geïdentificeerd zijn als zijnde in het publieke domein, beschikbaar gemaakt. Dit rapport beschrijft de doelen en methoden van dit project, evenals de resultaten van de analyses die we hebben uitgevoerd, alles in dienst van het toegankelijker en gemakkelijker maken van deze historische collectie voor zowel mensen als machines om te filteren, te lezen en te gebruiken.

English

Large language models (LLMs) use data to learn about the world in order to produce meaningful correlations and predictions. As such, the nature, scale, quality, and diversity of the datasets used to train these models, or to support their work at inference time, have a direct impact on their quality. The rapid development and adoption of LLMs of varying quality has brought into focus the scarcity of publicly available, high-quality training data and revealed an urgent need to ground the stewardship of these datasets in sustainable practices with clear provenance chains. To that end, this technical report introduces Institutional Books 1.0, a large collection of public domain books originally digitized through Harvard Library's participation in the Google Books project, beginning in 2006. Working with Harvard Library, we extracted, analyzed, and processed these volumes into an extensively-documented dataset of historic texts. This analysis covers the entirety of Harvard Library's collection scanned as part of that project, originally spanning 1,075,899 volumes written in over 250 different languages for a total of approximately 250 billion tokens. As part of this initial release, the OCR-extracted text (original and post-processed) as well as the metadata (bibliographic, source, and generated) of the 983,004 volumes, or 242B tokens, identified as being in the public domain have been made available. This report describes this project's goals and methods as well as the results of the analyses we performed, all in service of making this historical collection more accessible and easier for humans and machines alike to filter, read and use.

Institutionele Boeken 1.0: Een dataset van 242B tokens uit de collecties van de Harvard Library, verfijnd voor nauwkeurigheid en bruikbaarheid.

Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability

Samenvatting

Support