LLMAEL: 大規模言語モデルはエンティティリンキングのための優れた文脈拡張ツールである

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

著者: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

要旨

エンティティリンキング（EL）モデルは、与えられた文脈に基づいて言及を対応するエンティティにマッピングするよう十分に訓練されています。しかし、ELモデルは、トレーニングデータが限られているため、ロングテールエンティティの曖昧性解消に苦戦します。一方、大規模言語モデル（LLM）は、珍しい言及を解釈するのに優れています。しかし、専門的な訓練が不足しているため、LLMは正しいエンティティIDを生成するのに苦労します。さらに、LLMをELタスクに特化して訓練するには多大なコストがかかります。これらの洞察を基に、我々はLLM-Augmented Entity Linking（LLMAEL）を提案します。これは、LLMによるデータ拡張を通じてエンティティリンキングを強化するプラグアンドプレイアプローチです。我々は、LLMを知識豊富な文脈拡張ツールとして活用し、言及中心の説明を追加入力として生成しつつ、タスク固有の処理には従来のELモデルを維持します。6つの標準データセットでの実験では、基本的なLLMAELがほとんどの場合でベースラインELモデルを上回り、ファインチューニングされたLLMAELは全ての6つのベンチマークで新たな最先端の結果を達成しました。

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.