Institutional Books 1.0: Набор данных объемом 242 миллиарда токенов из коллекций библиотеки Гарварда, оптимизированный для точности и удобства использования.

Аннотация

Крупные языковые модели (LLM) используют данные для изучения мира с целью создания значимых корреляций и прогнозов. Таким образом, природа, масштаб, качество и разнообразие наборов данных, используемых для обучения этих моделей или для поддержки их работы на этапе вывода, напрямую влияют на их качество. Быстрое развитие и внедрение LLM различного качества подчеркнули дефицит общедоступных высококачественных обучающих данных и выявили острую необходимость в устойчивых практиках управления этими наборами данных с четкими цепочками происхождения. В связи с этим данный технический отчет представляет Institutional Books 1.0 — обширную коллекцию книг, находящихся в общественном достоянии, которые были оцифрованы в рамках участия Гарвардской библиотеки в проекте Google Books, начатом в 2006 году. Совместно с Гарвардской библиотекой мы извлекли, проанализировали и обработали эти тома в тщательно документированный набор данных исторических текстов. Этот анализ охватывает всю коллекцию Гарвардской библиотеки, отсканированную в рамках проекта, изначально включающую 1 075 899 томов, написанных на более чем 250 языках, что в сумме составляет примерно 250 миллиардов токенов. В рамках этого первоначального выпуска были опубликованы тексты, извлеченные с помощью OCR (оригинальные и постобработанные), а также метаданные (библиографические, исходные и сгенерированные) для 983 004 томов, или 242 миллиарда токенов, идентифицированных как находящиеся в общественном достоянии. В этом отчете описаны цели и методы проекта, а также результаты проведенных анализов, все это направлено на то, чтобы сделать эту историческую коллекцию более доступной и удобной для фильтрации, чтения и использования как людьми, так и машинами.

English

Large language models (LLMs) use data to learn about the world in order to produce meaningful correlations and predictions. As such, the nature, scale, quality, and diversity of the datasets used to train these models, or to support their work at inference time, have a direct impact on their quality. The rapid development and adoption of LLMs of varying quality has brought into focus the scarcity of publicly available, high-quality training data and revealed an urgent need to ground the stewardship of these datasets in sustainable practices with clear provenance chains. To that end, this technical report introduces Institutional Books 1.0, a large collection of public domain books originally digitized through Harvard Library's participation in the Google Books project, beginning in 2006. Working with Harvard Library, we extracted, analyzed, and processed these volumes into an extensively-documented dataset of historic texts. This analysis covers the entirety of Harvard Library's collection scanned as part of that project, originally spanning 1,075,899 volumes written in over 250 different languages for a total of approximately 250 billion tokens. As part of this initial release, the OCR-extracted text (original and post-processed) as well as the metadata (bibliographic, source, and generated) of the 983,004 volumes, or 242B tokens, identified as being in the public domain have been made available. This report describes this project's goals and methods as well as the results of the analyses we performed, all in service of making this historical collection more accessible and easier for humans and machines alike to filter, read and use.

Institutional Books 1.0: Набор данных объемом 242 миллиарда токенов из коллекций библиотеки Гарварда, оптимизированный для точности и удобства использования.

Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability

Аннотация

Support