LLMAEL : Les grands modèles de langage sont d'excellents amplificateurs de contexte pour la liaison d'entités

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

Auteurs: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

Résumé

Les modèles de liaison d'entités (Entity Linking, EL) sont bien entraînés à associer des mentions à leurs entités correspondantes selon un contexte donné. Cependant, ces modèles peinent à désambiguïser les entités de longue traîne en raison de leurs données d'entraînement limitées. Par ailleurs, les grands modèles de langage (Large Language Models, LLMs) sont plus robustes pour interpréter des mentions peu communes. Néanmoins, en l'absence d'un entraînement spécialisé, les LLMs ont des difficultés à générer des identifiants d'entités corrects. De plus, entraîner un LLM pour effectuer la liaison d'entités est coûteux. En nous appuyant sur ces constats, nous présentons LLM-Augmented Entity Linking (LLMAEL), une approche plug-and-play visant à améliorer la liaison d'entités par augmentation de données via les LLMs. Nous exploitons les LLMs comme des enrichisseurs de contexte experts, générant des descriptions centrées sur les mentions comme entrées supplémentaires, tout en conservant les modèles EL traditionnels pour le traitement spécifique à la tâche. Les expériences menées sur 6 jeux de données standards montrent que la version de base de LLMAEL surpasse les modèles EL de référence dans la plupart des cas, tandis que la version fine-tunée de LLMAEL établit de nouveaux records de performance sur l'ensemble des 6 benchmarks.

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.