機関所蔵新聞パイプライン：歴史新聞から数十億の高品質トークンを導出する

要旨

歴史的な新聞は公的生活の豊かな記録であるものの、その密で不規則、時にはノイズの多いレイアウトにより、これらの資料への計算的なアクセスは困難かつ限定的なものとなっている。我々は、歴史的な新聞スキャンから高品質で構造化されたデータセットを抽出するためにボストン公共図書館と共同設計したモジュール式システムであるInstitutional Newspapers Pipelineを提示する。本パイプラインは、各ステップが解釈可能かつカスタマイズ可能であり続け、またパイプライン全体としてワークステーションレベルのハードウェアでも実行可能な程度に計算資源の消費が抑えられるよう設計された。パイプラインは各スキャンを多段階のプロセスで処理する。すなわち、スキャンをタイプ非依存の個別クロップにセグメント化し、得られた各セグメントに対してOCRを実行した後、すべてのクロップに対してテキスト分析、タイプ分類、読取順序検出、固有表現認識、主題分類、言語検出、および事前計算済み埋め込みの生成を実行する。我々はこのパイプラインをボストン公共図書館の所蔵資料の一部に対して実行し、その結果をオープンデータセットとして公開した。光学文字認識（OCR）の出力は、1795年から1930年の間に発行された1,473,635件のパブリックドメインの新聞スキャンから抽出された、8,310万件の個別クロップにわたる163億のo200k_baseトークンに相当する。本稿では、各処理ステップの手法、我々が訓練した小規模モデル、ならびにその過程で収集した評価結果とデータセット規模の測定値について述べる。本稿はパイプライン、モデル、データセットの公開に付随するものである。我々は本研究を、数千万件の新聞スキャンから高品質なデータを引き出すための重要な一歩として位置づける。

English

Historical newspapers are an abundant record of public life, but their dense, irregular and sometimes noisy layouts make computational access to these materials both challenging and limited. We present the Institutional Newspapers Pipeline, a modular system we jointly designed with Boston Public Library to extract high-quality, structured datasets from historical newspaper scans. It was architected so that each step remains interpretable and customizable, and so that the pipeline as a whole remains computationally frugal enough to run on workstation-level hardware. The pipeline runs each scan through a multi-step process: it segments scans into individual type-agnostic crops and performs OCR on each resulting segment before then performing text analysis, type classification, reading order detection, named entities recognition, subject classification, language detection, and pre-computed embeddings generation on every crop. We ran this pipeline against a portion of Boston Public Library's holdings and released the results as an open dataset. The optical character recognition (OCR) output represents 16.3 billion o200k_base tokens across 83.1 million individual crops, extracted from 1,473,635 public domain newspaper scans published between 1795 and 1930. This report describes our methods for each processing step, the small models we trained, as well as the evaluation results and dataset-scale measurements we collected in the process. It accompanies the release of the pipeline, models, and dataset. We position this work as a substantial step towards unlocking high-quality data from tens of millions of newspaper scans.