LLMAEL: I grandi modelli linguistici sono ottimi amplificatori di contesto per il collegamento di entità

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

Autori: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

Abstract

I modelli di Entity Linking (EL) sono ben addestrati a mappare le menzioni alle corrispondenti entità in base a un determinato contesto. Tuttavia, i modelli EL faticano a disambiguare le entità di coda lunga a causa dei loro dati di addestramento limitati. Nel frattempo, i grandi modelli linguistici (LLM) sono più robusti nell'interpretare menzioni insolite. Tuttavia, a causa della mancanza di un addestramento specializzato, gli LLM hanno difficoltà a generare ID di entità corretti. Inoltre, addestrare un LLM per eseguire EL è costoso. Basandoci su queste intuizioni, introduciamo LLM-Augmented Entity Linking (LLMAEL), un approccio plug-and-play per migliorare il linking di entità attraverso l'aumento dei dati basato su LLM. Sfruttiamo gli LLM come amplificatori di contesto informati, generando descrizioni centrate sulle menzioni come input aggiuntivo, preservando al contempo i tradizionali modelli EL per l'elaborazione specifica del compito. Esperimenti su 6 dataset standard dimostrano che la versione base di LLMAEL supera i modelli EL di riferimento nella maggior parte dei casi, mentre la versione fine-tuned di LLMAEL stabilisce nuovi risultati state-of-the-art su tutti e 6 i benchmark.

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.