적게 보여주고, 더 많이 지시하라: 제로샷 NER을 위한 정의와 지침으로 프롬프트 풍부화하기

Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER

July 1, 2024

저자: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini

cs.AI

초록

최근, 명명된 개체 인식(Named Entity Recognition, NER)을 위해 특화된 지시 튜닝(instruction-tuned) 대형 언어 모델(Large Language Models, LLMs)이 여러 가지 등장했습니다. 기존의 전통적인 NER 접근 방식과 비교했을 때, 이러한 모델들은 강력한 일반화 능력을 가지고 있습니다. 기존의 LLM들은 주로 도메인 외 분포(out-of-domain distributions)에서의 제로샷 NER(zero-shot NER)에 초점을 맞추고 있으며, 종종 테스트 세트와 높은 또는 완전한 중복성을 보이는 광범위한 개체 클래스에 대해 미세 조정(fine-tuning)되어 있습니다. 본 연구에서는 대신, 이전에 본 적 없는 명명된 개체 태그를 처리하기 위해 설계된 SLIMER라는 접근 방식을 제안합니다. 이 접근 방식은 더 적은 예제를 통해 모델을 지시하고, 정의와 지침이 포함된 프롬프트를 활용합니다. 실험 결과, 정의와 지침은 특히 이전에 본 적 없는 명명된 개체를 레이블링할 때 더 나은 성능, 더 빠르고 강력한 학습을 가능하게 하는 것으로 나타났습니다. 또한, SLIMER는 축소된 태그 세트로 훈련되었음에도 불구하고, 도메인 외 제로샷 NER에서 최신 기술(state-of-the-art) 접근 방식과 비슷한 성능을 보였습니다.

English

Recently, several specialized instruction-tuned Large Language Models (LLMs) for Named Entity Recognition (NER) have emerged. Compared to traditional NER approaches, these models have strong generalization capabilities. Existing LLMs mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned on an extensive number of entity classes that often highly or completely overlap with test sets. In this work instead, we propose SLIMER, an approach designed to tackle never-seen-before named entity tags by instructing the model on fewer examples, and by leveraging a prompt enriched with definition and guidelines. Experiments demonstrate that definition and guidelines yield better performance, faster and more robust learning, particularly when labelling unseen Named Entities. Furthermore, SLIMER performs comparably to state-of-the-art approaches in out-of-domain zero-shot NER, while being trained on a reduced tag set.