LLMAEL: Modelos de Linguagem de Grande Escala são Bons Ampliadores de Contexto para Vinculação de Entidades

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

Autores: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

Resumo

Os modelos de Vinculação de Entidades (EL) são bem treinados para mapear menções às suas entidades correspondentes de acordo com um contexto dado. No entanto, os modelos de EL têm dificuldade em desambiguar entidades de cauda longa devido à sua limitada quantidade de dados de treinamento. Enquanto isso, os grandes modelos de linguagem (LLMs) são mais robustos na interpretação de menções incomuns. No entanto, devido à falta de treinamento especializado, os LLMs sofrem para gerar IDs de entidades corretas. Além disso, o treinamento de um LLM para realizar EL é custoso. Com base nessas percepções, apresentamos o Vinculação de Entidades Aumentada por LLM (LLMAEL), uma abordagem plug-and-play para aprimorar a vinculação de entidades por meio da ampliação de dados de LLM. Nós aproveitamos os LLMs como ampliadores de contexto conhecedores, gerando descrições centradas na menção como entrada adicional, enquanto preservamos os modelos de EL tradicionais para processamento específico da tarefa. Experimentos em 6 conjuntos de dados padrão mostram que o LLMAEL comum supera os modelos de EL de referência na maioria dos casos, enquanto o LLMAEL ajustado estabelece os novos resultados de ponta em todos os 6 benchmarks.

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.