ReLiK: Abrufen und Verknüpfen, schnelle und präzise Entitätenverknüpfung und Beziehungsextraktion mit akademischem Budget

ReLiK: Retrieve and LinK, Fast and Accurate Entity Linking and Relation Extraction on an Academic Budget

July 31, 2024

Autoren: Riccardo Orlando, Pere-Lluis Huguet-Cabot, Edoardo Barba, Roberto Navigli

cs.AI

Zusammenfassung

Entity Linking (EL) und Relation Extraction (RE) sind grundlegende Aufgaben im Bereich der natürlichen Sprachverarbeitung und dienen als entscheidende Komponenten in einer Vielzahl von Anwendungen. In diesem Paper schlagen wir ReLiK vor, eine Retriever-Reader-Architektur für sowohl EL als auch RE, bei der der Retriever-Modul bei einer Eingabetext die Identifizierung von Kandidatenentitäten oder -relationen übernimmt, die potenziell im Text erscheinen könnten. Anschließend ist der Reader-Modul damit beauftragt, die relevanten abgerufenen Entitäten oder Relationen zu unterscheiden und ihre Ausrichtung mit den entsprechenden Textstellen herzustellen. Bemerkenswert ist, dass wir eine innovative Eingaberepräsentation vorstellen, die die Kandidatenentitäten oder -relationen neben dem Text integriert, was es ermöglicht, Entitäten zu verknüpfen oder Relationen in einem einzigen Durchlauf zu extrahieren und die Kontextualisierungsfähigkeiten von vortrainierten Sprachmodellen voll auszuschöpfen, im Gegensatz zu früheren Retriever-Reader-basierten Methoden, die für jeden Kandidaten einen Durchlauf erfordern. Unsere Formulierung von EL und RE erzielt Spitzenleistungen sowohl in in-domain als auch in out-of-domain Benchmarks, während wir akademische Budgetschulung verwenden und eine bis zu 40-fache Inferenzgeschwindigkeit im Vergleich zu Mitbewerbern erreichen. Schließlich zeigen wir, wie unsere Architektur nahtlos für die Informationsextraktion (cIE), d.h. EL + RE, verwendet werden kann und einen neuen Stand der Technik durch den Einsatz eines gemeinsamen Readers festlegt, der gleichzeitig Entitäten und Relationen extrahiert.

English

Entity Linking (EL) and Relation Extraction (RE) are fundamental tasks in Natural Language Processing, serving as critical components in a wide range of applications. In this paper, we propose ReLiK, a Retriever-Reader architecture for both EL and RE, where, given an input text, the Retriever module undertakes the identification of candidate entities or relations that could potentially appear within the text. Subsequently, the Reader module is tasked to discern the pertinent retrieved entities or relations and establish their alignment with the corresponding textual spans. Notably, we put forward an innovative input representation that incorporates the candidate entities or relations alongside the text, making it possible to link entities or extract relations in a single forward pass and to fully leverage pre-trained language models contextualization capabilities, in contrast with previous Retriever-Reader-based methods, which require a forward pass for each candidate. Our formulation of EL and RE achieves state-of-the-art performance in both in-domain and out-of-domain benchmarks while using academic budget training and with up to 40x inference speed compared to competitors. Finally, we show how our architecture can be used seamlessly for Information Extraction (cIE), i.e. EL + RE, and setting a new state of the art by employing a shared Reader that simultaneously extracts entities and relations.