ReLiK: Recuperação e Vinculação, Extração Rápida e Precisa de Entidades e Relações com um Orçamento Acadêmico

ReLiK: Retrieve and LinK, Fast and Accurate Entity Linking and Relation Extraction on an Academic Budget

July 31, 2024

Autores: Riccardo Orlando, Pere-Lluis Huguet-Cabot, Edoardo Barba, Roberto Navigli

cs.AI

Resumo

A Ligação de Entidades (EL) e a Extração de Relações (RE) são tarefas fundamentais no Processamento de Linguagem Natural, servindo como componentes críticos em uma ampla gama de aplicações. Neste artigo, propomos ReLiK, uma arquitetura Retriever-Reader para EL e RE, onde, dado um texto de entrada, o módulo Retriever realiza a identificação de entidades ou relações candidatas que poderiam potencialmente aparecer no texto. Posteriormente, o módulo Reader é encarregado de discernir as entidades ou relações pertinentes recuperadas e estabelecer seu alinhamento com os trechos textuais correspondentes. Notavelmente, apresentamos uma representação de entrada inovadora que incorpora as entidades ou relações candidatas juntamente com o texto, possibilitando a ligação de entidades ou extração de relações em uma única passagem direta e aproveitando plenamente as capacidades de contextualização de modelos de linguagem pré-treinados, em contraste com métodos anteriores baseados em Retriever-Reader, que exigem uma passagem direta para cada candidato. Nossa formulação de EL e RE alcança desempenho de ponta tanto em benchmarks de domínio quanto fora de domínio, utilizando treinamento com orçamento acadêmico e com até 40 vezes mais velocidade de inferência em comparação com concorrentes. Por fim, demonstramos como nossa arquitetura pode ser usada de forma transparente para Extração de Informação (cIE), ou seja, EL + RE, estabelecendo um novo estado da arte ao empregar um Reader compartilhado que extrai simultaneamente entidades e relações.

English

Entity Linking (EL) and Relation Extraction (RE) are fundamental tasks in Natural Language Processing, serving as critical components in a wide range of applications. In this paper, we propose ReLiK, a Retriever-Reader architecture for both EL and RE, where, given an input text, the Retriever module undertakes the identification of candidate entities or relations that could potentially appear within the text. Subsequently, the Reader module is tasked to discern the pertinent retrieved entities or relations and establish their alignment with the corresponding textual spans. Notably, we put forward an innovative input representation that incorporates the candidate entities or relations alongside the text, making it possible to link entities or extract relations in a single forward pass and to fully leverage pre-trained language models contextualization capabilities, in contrast with previous Retriever-Reader-based methods, which require a forward pass for each candidate. Our formulation of EL and RE achieves state-of-the-art performance in both in-domain and out-of-domain benchmarks while using academic budget training and with up to 40x inference speed compared to competitors. Finally, we show how our architecture can be used seamlessly for Information Extraction (cIE), i.e. EL + RE, and setting a new state of the art by employing a shared Reader that simultaneously extracts entities and relations.