Mostrar Menos, Instruir Más: Enriquecimiento de Prompts con Definiciones y Directrices para NER en Escenario de Cero Ejemplos

Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER

July 1, 2024

Autores: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini

cs.AI

Resumen

Recientemente, han surgido varios Modelos de Lenguaje de Gran Escala (LLMs) ajustados mediante instrucciones especializadas para el Reconocimiento de Entidades Nombradas (NER). En comparación con los enfoques tradicionales de NER, estos modelos poseen fuertes capacidades de generalización. Los LLMs existentes se centran principalmente en NER de cero disparos en distribuciones fuera de dominio, siendo ajustados en un gran número de clases de entidades que a menudo coinciden en gran medida o completamente con los conjuntos de prueba. En este trabajo, en cambio, proponemos SLIMER, un enfoque diseñado para abordar etiquetas de entidades nombradas nunca antes vistas, instruyendo al modelo con menos ejemplos y aprovechando un prompt enriquecido con definiciones y pautas. Los experimentos demuestran que las definiciones y pautas generan un mejor rendimiento, un aprendizaje más rápido y robusto, particularmente al etiquetar entidades nombradas no vistas. Además, SLIMER tiene un desempeño comparable a los enfoques de vanguardia en NER de cero disparos fuera de dominio, mientras que es entrenado con un conjunto reducido de etiquetas.

English

Recently, several specialized instruction-tuned Large Language Models (LLMs) for Named Entity Recognition (NER) have emerged. Compared to traditional NER approaches, these models have strong generalization capabilities. Existing LLMs mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned on an extensive number of entity classes that often highly or completely overlap with test sets. In this work instead, we propose SLIMER, an approach designed to tackle never-seen-before named entity tags by instructing the model on fewer examples, and by leveraging a prompt enriched with definition and guidelines. Experiments demonstrate that definition and guidelines yield better performance, faster and more robust learning, particularly when labelling unseen Named Entities. Furthermore, SLIMER performs comparably to state-of-the-art approaches in out-of-domain zero-shot NER, while being trained on a reduced tag set.