Extracción de Datos Textuales y Estructurados del Repositorio de Publicaciones de HAL

Harvesting Textual and Structured Data from the HAL Publication Repository

July 30, 2024

Autores: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary

cs.AI

Resumen

HAL (Hyper Articles en Ligne) es el repositorio de publicaciones nacional de Francia, utilizado por la mayoría de las organizaciones de educación superior e investigación para su política de ciencia abierta. Como una biblioteca digital, es un rico repositorio de documentos académicos, pero su potencial para la investigación avanzada ha sido subutilizado. Presentamos HALvest, un conjunto de datos único que conecta las redes de citas con el texto completo de los documentos presentados en HAL. Creamos nuestro conjunto de datos filtrando HAL para publicaciones académicas, lo que resulta en aproximadamente 700,000 documentos, abarcando 34 idiomas en 13 dominios identificados, adecuados para el entrenamiento de modelos de lenguaje y generando aproximadamente 16.5 mil millones de tokens (con 8 mil millones en francés y 7 mil millones en inglés, los idiomas más representados). Transformamos los metadatos de cada documento en una red de citas, produciendo un grafo heterogéneo dirigido. Este grafo incluye autores identificados de manera única en HAL, así como todos los documentos presentados abiertos y sus citas. Proporcionamos una línea base para la atribución de autoría utilizando el conjunto de datos, implementamos una variedad de modelos de vanguardia en aprendizaje de representación de grafos para predicción de enlaces, y discutimos la utilidad de la estructura de nuestro grafo de conocimiento generado.

English

HAL (Hyper Articles en Ligne) is the French national publication repository, used by most higher education and research organizations for their open science policy. As a digital library, it is a rich repository of scholarly documents, but its potential for advanced research has been underutilized. We present HALvest, a unique dataset that bridges the gap between citation networks and the full text of papers submitted on HAL. We craft our dataset by filtering HAL for scholarly publications, resulting in approximately 700,000 documents, spanning 34 languages across 13 identified domains, suitable for language model training, and yielding approximately 16.5 billion tokens (with 8 billion in French and 7 billion in English, the most represented languages). We transform the metadata of each paper into a citation network, producing a directed heterogeneous graph. This graph includes uniquely identified authors on HAL, as well as all open submitted papers, and their citations. We provide a baseline for authorship attribution using the dataset, implement a range of state-of-the-art models in graph representation learning for link prediction, and discuss the usefulness of our generated knowledge graph structure.