LLMAEL: Große Sprachmodelle sind gute Kontextverstärker für die Verknüpfung von Entitäten.

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

Autoren: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

Zusammenfassung

Entity Linking (EL)-Modelle sind gut darin trainiert, Erwähnungen entsprechend eines gegebenen Kontexts ihren zugehörigen Entitäten zuzuordnen. Allerdings haben EL-Modelle Schwierigkeiten, selten vorkommende Entitäten aufgrund ihrer begrenzten Trainingsdaten eindeutig zuzuordnen. Gleichzeitig sind große Sprachmodelle (LLMs) robuster bei der Interpretation ungewöhnlicher Erwähnungen. Aufgrund eines Mangels an spezialisierter Schulung leiden LLMs jedoch darunter, korrekte Entitäts-IDs zu generieren. Darüber hinaus ist das Training eines LLMs zur Durchführung von EL kostenintensiv. Basierend auf diesen Erkenntnissen stellen wir LLMAEL (LLM-augmentiertes Entity Linking) vor, einen Plug-and-Play-Ansatz zur Verbesserung des Entity Linking durch LLM-Datenaugmentierung. Wir nutzen LLMs als kenntnisreiche Kontextverstärker, die ergebnisorientierte Beschreibungen generieren, die als zusätzliche Eingabe dienen, während traditionelle EL-Modelle für die aufgabenspezifische Verarbeitung beibehalten werden. Experimente mit 6 Standarddatensätzen zeigen, dass das Standard-LLMAEL in den meisten Fällen die Baseline-EL-Modelle übertrifft, während das feinabgestimmte LLMAEL die neuen State-of-the-Art-Ergebnisse in allen 6 Benchmarks setzt.

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.