LLMAEL: Большие языковые модели - хорошие дополнители контекста для сопоставления сущностей.

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

Авторы: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

Аннотация

Модели сущностной связи (Entity Linking, EL) хорошо обучены отображать упоминания на соответствующие сущности в заданном контексте. Однако модели EL испытывают затруднения в дизамбигуации малоизвестных сущностей из-за ограниченных данных обучения. В то же время крупные языковые модели (Large Language Models, LLMs) более устойчивы к интерпретации необычных упоминаний. Однако из-за отсутствия специализированного обучения LLMs сталкиваются с проблемой генерации правильных идентификаторов сущностей. Кроме того, обучение LLM для выполнения EL требует значительных затрат. Исходя из этих наблюдений, мы представляем LLMAEL (Large Language Model-Augmented Entity Linking) - гибкое решение для улучшения сущностной связи путем аугментации данных LLM. Мы используем LLM в качестве экспертов по контексту, генерируя описания, сосредоточенные на упоминаниях, в качестве дополнительного входа, сохраняя традиционные модели EL для обработки конкретных задач. Эксперименты на 6 стандартных наборах данных показывают, что базовая LLMAEL превосходит базовые модели EL в большинстве случаев, в то время как настроенная LLMAEL устанавливает новые передовые результаты на всех 6 показателях.

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.