Extrahieren von textuellen und strukturierten Daten aus dem HAL-Publikations-Repository.

Harvesting Textual and Structured Data from the HAL Publication Repository

July 30, 2024

Autoren: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary

cs.AI

Zusammenfassung

HAL (Hyper Articles en Ligne) ist das französische nationale Veröffentlichungsrepository, das von den meisten Hochschul- und Forschungsorganisationen für ihre Open-Science-Politik genutzt wird. Als digitale Bibliothek ist es ein umfangreiches Repository wissenschaftlicher Dokumente, dessen Potenzial für fortgeschrittene Forschung bisher untergenutzt wurde. Wir präsentieren HALvest, einen einzigartigen Datensatz, der die Kluft zwischen Zitationsnetzwerken und dem Volltext von auf HAL eingereichten Papieren überbrückt. Wir erstellen unseren Datensatz, indem wir HAL nach wissenschaftlichen Veröffentlichungen filtern, was zu etwa 700.000 Dokumenten führt, die sich über 34 Sprachen in 13 identifizierten Fachgebieten erstrecken. Diese sind geeignet für das Training von Sprachmodellen und ergeben insgesamt etwa 16,5 Milliarden Tokens (mit 8 Milliarden in Französisch und 7 Milliarden in Englisch, den am häufigsten vertretenen Sprachen). Wir wandeln die Metadaten jedes Papiers in ein Zitationsnetzwerk um, das einen gerichteten heterogenen Graphen erzeugt. Dieser Graph enthält eindeutig identifizierte Autoren auf HAL sowie alle offenen eingereichten Papiere und deren Zitationen. Wir bieten eine Basis für die Autorschaftszuweisung unter Verwendung des Datensatzes, implementieren eine Reihe modernster Modelle im Bereich des Graphenrepräsentationslernens für die Linkvorhersage und diskutieren die Nützlichkeit unserer generierten Wissensgraphenstruktur.

English

HAL (Hyper Articles en Ligne) is the French national publication repository, used by most higher education and research organizations for their open science policy. As a digital library, it is a rich repository of scholarly documents, but its potential for advanced research has been underutilized. We present HALvest, a unique dataset that bridges the gap between citation networks and the full text of papers submitted on HAL. We craft our dataset by filtering HAL for scholarly publications, resulting in approximately 700,000 documents, spanning 34 languages across 13 identified domains, suitable for language model training, and yielding approximately 16.5 billion tokens (with 8 billion in French and 7 billion in English, the most represented languages). We transform the metadata of each paper into a citation network, producing a directed heterogeneous graph. This graph includes uniquely identified authors on HAL, as well as all open submitted papers, and their citations. We provide a baseline for authorship attribution using the dataset, implement a range of state-of-the-art models in graph representation learning for link prediction, and discuss the usefulness of our generated knowledge graph structure.