Montrer Moins, Instruire Plus : Enrichir les Invites avec des Définitions et des Lignes Directrices pour la Reconnaissance d'Entités Nommées en Zero-Shot
Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER
July 1, 2024
papers.authors: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini
cs.AI
papers.abstract
Récemment, plusieurs modèles de langage de grande taille (LLMs) spécialisés et ajustés par instruction pour la reconnaissance d'entités nommées (NER) ont émergé. Comparés aux approches traditionnelles de NER, ces modèles possèdent de fortes capacités de généralisation. Les LLMs existants se concentrent principalement sur la NER en zero-shot dans des distributions hors domaine, étant affinés sur un grand nombre de classes d'entités qui se chevauchent souvent largement ou complètement avec les ensembles de test. Dans ce travail, nous proposons plutôt SLIMER, une approche conçue pour traiter des étiquettes d'entités nommées jamais vues auparavant en instruisant le modèle sur moins d'exemples et en exploitant une invite enrichie de définitions et de directives. Les expériences démontrent que les définitions et les directives améliorent les performances, un apprentissage plus rapide et plus robuste, en particulier lors de l'étiquetage d'entités nommées inédites. De plus, SLIMER obtient des performances comparables aux approches de pointe en NER zero-shot hors domaine, tout en étant entraîné sur un ensemble réduit d'étiquettes.
English
Recently, several specialized instruction-tuned Large Language Models (LLMs)
for Named Entity Recognition (NER) have emerged. Compared to traditional NER
approaches, these models have strong generalization capabilities. Existing LLMs
mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned
on an extensive number of entity classes that often highly or completely
overlap with test sets. In this work instead, we propose SLIMER, an approach
designed to tackle never-seen-before named entity tags by instructing the model
on fewer examples, and by leveraging a prompt enriched with definition and
guidelines. Experiments demonstrate that definition and guidelines yield better
performance, faster and more robust learning, particularly when labelling
unseen Named Entities. Furthermore, SLIMER performs comparably to
state-of-the-art approaches in out-of-domain zero-shot NER, while being trained
on a reduced tag set.