Weniger anzeigen, mehr anweisen: Anreichern von Aufforderungen mit Definitionen und Leitlinien für Zero-Shot NER.

Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER

July 1, 2024

Autoren: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini

cs.AI

Zusammenfassung

In letzter Zeit sind mehrere spezialisierte anweisungsgesteuerte Large Language Models (LLMs) für Named Entity Recognition (NER) aufgetaucht. Im Vergleich zu traditionellen NER-Ansätzen verfügen diese Modelle über starke Verallgemeinerungsfähigkeiten. Bestehende LLMs konzentrieren sich hauptsächlich auf Zero-Shot NER in Out-of-Domain-Verteilungen, die durch Feinabstimmung auf eine umfangreiche Anzahl von Entitätsklassen erfolgt, die oft stark oder vollständig mit Testsets überlappen. In dieser Arbeit schlagen wir stattdessen SLIMER vor, einen Ansatz, der darauf abzielt, noch nie zuvor gesehene benannte Entitätstags zu bewältigen, indem das Modell anhand weniger Beispiele instruiert wird und einen mit Definitionen und Richtlinien angereicherten Prompt nutzt. Experimente zeigen, dass Definitionen und Richtlinien eine bessere Leistung, schnelleres und robusteres Lernen liefern, insbesondere beim Markieren von unbekannten Named Entities. Darüber hinaus erzielt SLIMER vergleichbare Leistungen wie State-of-the-Art-Ansätze im Out-of-Domain Zero-Shot NER, während es auf einem reduzierten Tag-Set trainiert wird.

English

Recently, several specialized instruction-tuned Large Language Models (LLMs) for Named Entity Recognition (NER) have emerged. Compared to traditional NER approaches, these models have strong generalization capabilities. Existing LLMs mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned on an extensive number of entity classes that often highly or completely overlap with test sets. In this work instead, we propose SLIMER, an approach designed to tackle never-seen-before named entity tags by instructing the model on fewer examples, and by leveraging a prompt enriched with definition and guidelines. Experiments demonstrate that definition and guidelines yield better performance, faster and more robust learning, particularly when labelling unseen Named Entities. Furthermore, SLIMER performs comparably to state-of-the-art approaches in out-of-domain zero-shot NER, while being trained on a reduced tag set.