Показывайте меньше, инструктируйте больше: обогащение подсказок определениями и руководствами для нулевой разметки именованных сущностей.

Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER

July 1, 2024

Авторы: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini

cs.AI

Аннотация

В последнее время появилось несколько специализированных инструкциями настроенных крупных языковых моделей (LLM) для распознавания именованных сущностей (NER). По сравнению с традиционными подходами к NER, эти модели обладают сильными обобщающими способностями. Существующие LLM в основном сосредотачиваются на нулевом распознавании NER в распределениях вне области, которые донастраиваются на обширное количество классов сущностей, которые часто сильно или полностью перекрываются с тестовыми наборами. В этой работе, вместо этого, мы предлагаем SLIMER, подход, разработанный для решения никогда ранее не встречавшихся тегов именованных сущностей, инструктируя модель на меньшем количестве примеров и используя подсказку, обогащенную определением и руководствами. Эксперименты показывают, что определение и руководства обеспечивают лучшую производительность, более быстрое и устойчивое обучение, особенно при разметке невидимых именованных сущностей. Более того, SLIMER работает сравнимо с передовыми подходами в нулевом распознавании NER вне области, в то время как обучается на уменьшенном наборе тегов.

English

Recently, several specialized instruction-tuned Large Language Models (LLMs) for Named Entity Recognition (NER) have emerged. Compared to traditional NER approaches, these models have strong generalization capabilities. Existing LLMs mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned on an extensive number of entity classes that often highly or completely overlap with test sets. In this work instead, we propose SLIMER, an approach designed to tackle never-seen-before named entity tags by instructing the model on fewer examples, and by leveraging a prompt enriched with definition and guidelines. Experiments demonstrate that definition and guidelines yield better performance, faster and more robust learning, particularly when labelling unseen Named Entities. Furthermore, SLIMER performs comparably to state-of-the-art approaches in out-of-domain zero-shot NER, while being trained on a reduced tag set.