ReLiK: Recupera e Collega, Collegamento di Entità ed Estrazione di Relazioni Rapido e Preciso con un Budget Accademico

ReLiK: Retrieve and LinK, Fast and Accurate Entity Linking and Relation Extraction on an Academic Budget

July 31, 2024

Autori: Riccardo Orlando, Pere-Lluis Huguet-Cabot, Edoardo Barba, Roberto Navigli

cs.AI

Abstract

Il Linking di Entità (Entity Linking, EL) e l'Estrazione di Relazioni (Relation Extraction, RE) sono compiti fondamentali nell'Elaborazione del Linguaggio Naturale, costituendo componenti critiche in un'ampia gamma di applicazioni. In questo articolo, proponiamo ReLiK, un'architettura Retriever-Reader per entrambi EL e RE, in cui, dato un testo in input, il modulo Retriever si occupa di identificare le entità o relazioni candidate che potenzialmente potrebbero apparire nel testo. Successivamente, il modulo Reader ha il compito di discernere le entità o relazioni pertinenti recuperate e stabilirne l'allineamento con i corrispondenti segmenti testuali. In particolare, introduciamo una rappresentazione innovativa dell'input che incorpora le entità o relazioni candidate insieme al testo, rendendo possibile collegare entità o estrarre relazioni in un unico passaggio in avanti e sfruttare appieno le capacità di contestualizzazione dei modelli linguistici pre-addestrati, a differenza dei precedenti metodi basati su Retriever-Reader, che richiedono un passaggio in avanti per ogni candidato. La nostra formulazione di EL e RE raggiunge prestazioni all'avanguardia sia nei benchmark in dominio che fuori dominio, utilizzando un addestramento con budget accademico e con una velocità di inferenza fino a 40 volte superiore rispetto ai concorrenti. Infine, dimostriamo come la nostra architettura possa essere utilizzata in modo fluido per l'Estrazione di Informazioni (cIE), ovvero EL + RE, stabilendo un nuovo stato dell'arte impiegando un Reader condiviso che estrae simultaneamente entità e relazioni.

English

Entity Linking (EL) and Relation Extraction (RE) are fundamental tasks in Natural Language Processing, serving as critical components in a wide range of applications. In this paper, we propose ReLiK, a Retriever-Reader architecture for both EL and RE, where, given an input text, the Retriever module undertakes the identification of candidate entities or relations that could potentially appear within the text. Subsequently, the Reader module is tasked to discern the pertinent retrieved entities or relations and establish their alignment with the corresponding textual spans. Notably, we put forward an innovative input representation that incorporates the candidate entities or relations alongside the text, making it possible to link entities or extract relations in a single forward pass and to fully leverage pre-trained language models contextualization capabilities, in contrast with previous Retriever-Reader-based methods, which require a forward pass for each candidate. Our formulation of EL and RE achieves state-of-the-art performance in both in-domain and out-of-domain benchmarks while using academic budget training and with up to 40x inference speed compared to competitors. Finally, we show how our architecture can be used seamlessly for Information Extraction (cIE), i.e. EL + RE, and setting a new state of the art by employing a shared Reader that simultaneously extracts entities and relations.