LLMAEL: 대형 언어 모델은 엔티티 연결을 위한 우수한 컨텍스트 증강 도구입니다

LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

July 4, 2024

저자: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li

cs.AI

초록

엔티티 링크(Entity Linking, EL) 모델은 주어진 문맥에 따라 언급(mention)을 해당 엔티티에 매핑하는 데 잘 훈련되어 있습니다. 그러나 EL 모델은 학습 데이터가 제한적이기 때문에 롱테일(long-tail) 엔티티를 명확히 구분하는 데 어려움을 겪습니다. 반면, 대형 언어 모델(Large Language Models, LLMs)은 흔하지 않은 언급을 해석하는 데 더 강건한 성능을 보입니다. 하지만 특화된 훈련이 부족하기 때문에 LLMs는 정확한 엔티티 ID를 생성하는 데 취약합니다. 또한, LLM을 EL 작업에 맞게 훈련시키는 것은 비용이 많이 듭니다. 이러한 통찰을 바탕으로, 우리는 LLM 데이터 증강을 통해 엔티티 링크를 강화하는 플러그 앤 플레이(plug-and-play) 접근 방식인 LLM-Augmented Entity Linking(LLMAEL)을 소개합니다. 우리는 LLM을 지식이 풍부한 문맥 증강기로 활용하여, 언급 중심의 설명을 추가 입력으로 생성하고, 전통적인 EL 모델을 작업 특화 처리에 그대로 사용합니다. 6개의 표준 데이터셋에서의 실험 결과, 기본 버전의 LLMAEL은 대부분의 경우에서 기준 EL 모델을 능가하며, 미세 조정된 LLMAEL은 모든 6개 벤치마크에서 새로운 최첨단(state-of-the-art) 결과를 달성했습니다.

English

Entity Linking (EL) models are well-trained at mapping mentions to their corresponding entities according to a given context. However, EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, large language models (LLMs) are more robust at interpreting uncommon mentions. Yet, due to a lack of specialized training, LLMs suffer at generating correct entity IDs. Furthermore, training an LLM to perform EL is cost-intensive. Building upon these insights, we introduce LLM-Augmented Entity Linking LLMAEL, a plug-and-play approach to enhance entity linking through LLM data augmentation. We leverage LLMs as knowledgeable context augmenters, generating mention-centered descriptions as additional input, while preserving traditional EL models for task specific processing. Experiments on 6 standard datasets show that the vanilla LLMAEL outperforms baseline EL models in most cases, while the fine-tuned LLMAEL set the new state-of-the-art results across all 6 benchmarks.