LLMAEL: Los Modelos de Lenguaje Grandes son Buenos Aumentadores de Contexto para la Vinculación de Entidades

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

Autores: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

Resumen

Los modelos de Vinculación de Entidades (EL) están bien entrenados en mapear menciones a sus entidades correspondientes según un contexto dado. Sin embargo, los modelos de EL tienen dificultades para desambiguar entidades de larga cola debido a su limitado conjunto de datos de entrenamiento. Mientras tanto, los modelos de lenguaje grandes (LLMs) son más robustos en la interpretación de menciones poco comunes. Sin embargo, debido a la falta de entrenamiento especializado, los LLMs tienen dificultades para generar identificadores de entidades correctos. Además, el entrenamiento de un LLM para realizar EL es costoso. Basándonos en estas percepciones, presentamos la Vinculación de Entidades Aumentada por LLM (LLMAEL), un enfoque plug-and-play para mejorar la vinculación de entidades a través de la ampliación de datos con LLM. Aprovechamos los LLMs como ampliadores de contexto expertos, generando descripciones centradas en menciones como entrada adicional, mientras mantenemos los modelos de EL tradicionales para el procesamiento específico de la tarea. Experimentos en 6 conjuntos de datos estándar muestran que el LLMAEL básico supera a los modelos de EL de referencia en la mayoría de los casos, mientras que el LLMAEL afinado establece nuevos resultados de vanguardia en los 6 benchmarks.

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.