HAL出版物リポジトリからのテキストデータと構造化データの収集

Harvesting Textual and Structured Data from the HAL Publication Repository

July 30, 2024

著者: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary

cs.AI

要旨

HAL（Hyper Articles en Ligne）は、フランスの国立出版物リポジトリであり、ほとんどの高等教育機関や研究組織がオープンサイエンス政策の一環として利用しています。デジタルライブラリとして、HALは学術文書の豊富なリポジトリですが、その高度な研究への潜在能力は十分に活用されていません。本論文では、HALに提出された論文の引用ネットワークと全文の間のギャップを埋める独自のデータセットであるHALvestを紹介します。私たちはHALから学術出版物をフィルタリングしてデータセットを作成し、約70万件の文書、13の特定された分野にわたる34言語、言語モデルトレーニングに適した約165億トークン（うち80億がフランス語、70億が英語で最も多くを占める）を収集しました。各論文のメタデータを引用ネットワークに変換し、有向異種グラフを生成します。このグラフには、HAL上で一意に識別された著者、すべての公開された提出論文、およびそれらの引用が含まれます。私たちは、このデータセットを使用した著者帰属のベースラインを提供し、リンク予測のためのグラフ表現学習における最新のモデルを実装し、生成された知識グラフ構造の有用性について議論します。

English

HAL (Hyper Articles en Ligne) is the French national publication repository, used by most higher education and research organizations for their open science policy. As a digital library, it is a rich repository of scholarly documents, but its potential for advanced research has been underutilized. We present HALvest, a unique dataset that bridges the gap between citation networks and the full text of papers submitted on HAL. We craft our dataset by filtering HAL for scholarly publications, resulting in approximately 700,000 documents, spanning 34 languages across 13 identified domains, suitable for language model training, and yielding approximately 16.5 billion tokens (with 8 billion in French and 7 billion in English, the most represented languages). We transform the metadata of each paper into a citation network, producing a directed heterogeneous graph. This graph includes uniquely identified authors on HAL, as well as all open submitted papers, and their citations. We provide a baseline for authorship attribution using the dataset, implement a range of state-of-the-art models in graph representation learning for link prediction, and discuss the usefulness of our generated knowledge graph structure.