ReLiK: 학술 예산으로 빠르고 정확한 Entity Linking 및 Relation Extraction

ReLiK: Retrieve and LinK, Fast and Accurate Entity Linking and Relation Extraction on an Academic Budget

July 31, 2024

저자: Riccardo Orlando, Pere-Lluis Huguet-Cabot, Edoardo Barba, Roberto Navigli

cs.AI

초록

개체 연결(Entity Linking, EL) 및 관계 추출(Relation Extraction, RE)은 자연어 처리에서 기본적인 작업으로, 다양한 응용 프로그램에서 중요한 구성 요소로 작용합니다. 본 논문에서는 EL과 RE 모두에 대한 Retriever-Reader 아키텍처인 ReLiK을 제안합니다. 여기서 입력 텍스트가 주어지면 Retriever 모듈은 텍스트 내에 나타날 수 있는 후보 개체 또는 관계를 식별합니다. 이후 Reader 모듈은 관련된 검색된 개체 또는 관계를 식별하고 해당 텍스트 범위와의 일치를 확립하는 작업을 맡습니다. 특히, 우리는 텍스트와 함께 후보 개체 또는 관계를 통합한 혁신적인 입력 표현을 제시하여, 단일 순방향 전달로 개체를 연결하거나 관계를 추출하고 사전 훈련된 언어 모델의 문맥화 능력을 완전히 활용할 수 있습니다. 이는 이전 Retriever-Reader 기반 방법과 대조적으로 각 후보에 대해 순방향 전달이 필요한 것입니다. 우리 EL과 RE의 정의는 학술 예산 훈련을 사용하며 도메인 내 및 도메인 외 벤치마크에서 최첨단 성능을 달성하며 경쟁자 대비 최대 40배의 추론 속도를 보여줍니다. 마지막으로, 우리 아키텍처가 정보 추출(cIE)에 매끄럽게 사용될 수 있는 방법을 보여주며, 즉 EL + RE을 의미하며, 동시에 개체와 관계를 추출하는 공유 Reader를 활용하여 최신 기술 수준을 설정합니다.

English

Entity Linking (EL) and Relation Extraction (RE) are fundamental tasks in Natural Language Processing, serving as critical components in a wide range of applications. In this paper, we propose ReLiK, a Retriever-Reader architecture for both EL and RE, where, given an input text, the Retriever module undertakes the identification of candidate entities or relations that could potentially appear within the text. Subsequently, the Reader module is tasked to discern the pertinent retrieved entities or relations and establish their alignment with the corresponding textual spans. Notably, we put forward an innovative input representation that incorporates the candidate entities or relations alongside the text, making it possible to link entities or extract relations in a single forward pass and to fully leverage pre-trained language models contextualization capabilities, in contrast with previous Retriever-Reader-based methods, which require a forward pass for each candidate. Our formulation of EL and RE achieves state-of-the-art performance in both in-domain and out-of-domain benchmarks while using academic budget training and with up to 40x inference speed compared to competitors. Finally, we show how our architecture can be used seamlessly for Information Extraction (cIE), i.e. EL + RE, and setting a new state of the art by employing a shared Reader that simultaneously extracts entities and relations.