ReLiK: Recuperación y Vinculación, Extracción Rápida y Precisa de Entidades y Relaciones con un Presupuesto Académico

ReLiK: Retrieve and LinK, Fast and Accurate Entity Linking and Relation Extraction on an Academic Budget

July 31, 2024

Autores: Riccardo Orlando, Pere-Lluis Huguet-Cabot, Edoardo Barba, Roberto Navigli

cs.AI

Resumen

El Enlazado de Entidades (EL) y la Extracción de Relaciones (RE) son tareas fundamentales en el Procesamiento del Lenguaje Natural, sirviendo como componentes críticos en una amplia gama de aplicaciones. En este documento, proponemos ReLiK, una arquitectura de Recuperador-Lector para EL y RE, donde, dado un texto de entrada, el módulo de Recuperador se encarga de la identificación de entidades o relaciones candidatas que podrían aparecer potencialmente dentro del texto. Posteriormente, el módulo Lector tiene la tarea de discernir las entidades o relaciones pertinentes recuperadas y establecer su alineación con los fragmentos textuales correspondientes. Destacamos una representación de entrada innovadora que incorpora las entidades o relaciones candidatas junto con el texto, lo que permite enlazar entidades o extraer relaciones en un solo pase hacia adelante y aprovechar plenamente las capacidades de contextualización de modelos de lenguaje pre-entrenados, en contraste con los métodos basados en Recuperador-Lector previos, que requieren un pase hacia adelante para cada candidato. Nuestra formulación de EL y RE logra un rendimiento de vanguardia tanto en conjuntos de datos dentro del dominio como fuera de él, utilizando un presupuesto académico de entrenamiento y con una velocidad de inferencia de hasta 40 veces mayor en comparación con competidores. Finalmente, mostramos cómo nuestra arquitectura puede ser utilizada de manera transparente para la Extracción de Información (cIE), es decir, EL + RE, y establecer un nuevo estado del arte mediante el empleo de un Lector compartido que extrae simultáneamente entidades y relaciones.

English

Entity Linking (EL) and Relation Extraction (RE) are fundamental tasks in Natural Language Processing, serving as critical components in a wide range of applications. In this paper, we propose ReLiK, a Retriever-Reader architecture for both EL and RE, where, given an input text, the Retriever module undertakes the identification of candidate entities or relations that could potentially appear within the text. Subsequently, the Reader module is tasked to discern the pertinent retrieved entities or relations and establish their alignment with the corresponding textual spans. Notably, we put forward an innovative input representation that incorporates the candidate entities or relations alongside the text, making it possible to link entities or extract relations in a single forward pass and to fully leverage pre-trained language models contextualization capabilities, in contrast with previous Retriever-Reader-based methods, which require a forward pass for each candidate. Our formulation of EL and RE achieves state-of-the-art performance in both in-domain and out-of-domain benchmarks while using academic budget training and with up to 40x inference speed compared to competitors. Finally, we show how our architecture can be used seamlessly for Information Extraction (cIE), i.e. EL + RE, and setting a new state of the art by employing a shared Reader that simultaneously extracts entities and relations.