少なく示し、多くを教える：ゼロショットNERのための定義とガイドラインによるプロンプトの充実化

Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER

July 1, 2024

著者: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini

cs.AI

要旨

最近、固有表現認識（NER）に特化した命令チューニング済み大規模言語モデル（LLMs）がいくつか登場しています。従来のNERアプローチと比較して、これらのモデルは強力な汎化能力を有しています。既存のLLMsは主に、ドメイン外分布におけるゼロショットNERに焦点を当てており、テストセットと高度にまたは完全に重複する多数のエンティティクラスに対してファインチューニングされています。本研究では、それとは異なり、SLIMERというアプローチを提案します。SLIMERは、未見の固有表現タグに対処するために設計されており、より少ない例でモデルを指導し、定義とガイドラインを組み込んだプロンプトを活用します。実験結果から、定義とガイドラインが、特に未見の固有表現のラベリングにおいて、より良い性能、迅速かつ堅牢な学習をもたらすことが示されています。さらに、SLIMERは、削減されたタグセットでトレーニングされながらも、ドメイン外ゼロショットNERにおいて最先端のアプローチと同等の性能を発揮します。

English

Recently, several specialized instruction-tuned Large Language Models (LLMs) for Named Entity Recognition (NER) have emerged. Compared to traditional NER approaches, these models have strong generalization capabilities. Existing LLMs mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned on an extensive number of entity classes that often highly or completely overlap with test sets. In this work instead, we propose SLIMER, an approach designed to tackle never-seen-before named entity tags by instructing the model on fewer examples, and by leveraging a prompt enriched with definition and guidelines. Experiments demonstrate that definition and guidelines yield better performance, faster and more robust learning, particularly when labelling unseen Named Entities. Furthermore, SLIMER performs comparably to state-of-the-art approaches in out-of-domain zero-shot NER, while being trained on a reduced tag set.