Mostra Meno, Istruisci di Più: Arricchire i Prompt con Definizioni e Linee Guida per il NER Zero-Shot

Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER

July 1, 2024

Autori: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini

cs.AI

Abstract

Recentemente, sono emersi diversi modelli linguistici di grandi dimensioni (LLM) specializzati e ottimizzati per istruzioni nel campo del Riconoscimento di Entità Nominate (NER). Rispetto agli approcci tradizionali al NER, questi modelli possiedono forti capacità di generalizzazione. Gli LLM esistenti si concentrano principalmente sul NER zero-shot in distribuzioni fuori dominio, essendo stati ottimizzati su un ampio numero di classi di entità che spesso si sovrappongono in modo significativo o completo con i set di test. In questo lavoro, invece, proponiamo SLIMER, un approccio progettato per affrontare tag di entità nominate mai visti prima, istruendo il modello su un numero ridotto di esempi e sfruttando un prompt arricchito con definizioni e linee guida. Gli esperimenti dimostrano che l'uso di definizioni e linee guida produce prestazioni migliori, un apprendimento più rapido e robusto, in particolare quando si etichettano entità nominate mai viste. Inoltre, SLIMER si comporta in modo comparabile agli approcci all'avanguardia nel NER zero-shot fuori dominio, pur essendo addestrato su un set ridotto di tag.

English

Recently, several specialized instruction-tuned Large Language Models (LLMs) for Named Entity Recognition (NER) have emerged. Compared to traditional NER approaches, these models have strong generalization capabilities. Existing LLMs mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned on an extensive number of entity classes that often highly or completely overlap with test sets. In this work instead, we propose SLIMER, an approach designed to tackle never-seen-before named entity tags by instructing the model on fewer examples, and by leveraging a prompt enriched with definition and guidelines. Experiments demonstrate that definition and guidelines yield better performance, faster and more robust learning, particularly when labelling unseen Named Entities. Furthermore, SLIMER performs comparably to state-of-the-art approaches in out-of-domain zero-shot NER, while being trained on a reduced tag set.