Mostrar Menos, Instruir Mais: Enriquecendo Prompts com Definições e Diretrizes para Reconhecimento de Entidades Nomeadas sem Anotação.

Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER

July 1, 2024

Autores: Andrew Zamai, Andrea Zugarini, Leonardo Rigutini, Marco Ernandes, Marco Maggini

cs.AI

Resumo

Recentemente, surgiram vários Modelos de Linguagem de Grande Escala (LLMs) ajustados para instruções especializadas para Reconhecimento de Entidades Nomeadas (NER). Em comparação com abordagens tradicionais de NER, esses modelos possuem fortes capacidades de generalização. Os LLMs existentes concentram-se principalmente no NER de zero-shot em distribuições fora do domínio, sendo ajustados em um grande número de classes de entidades que frequentemente se sobrepõem totalmente ou em grande parte aos conjuntos de testes. Neste trabalho, propomos o SLIMER, uma abordagem projetada para lidar com tags de entidades nomeadas nunca vistas antes, instruindo o modelo com menos exemplos e aproveitando um prompt enriquecido com definição e diretrizes. Experimentos demonstram que a definição e as diretrizes resultam em melhor desempenho, aprendizado mais rápido e robusto, especialmente ao rotular Entidades Nomeadas não vistas. Além disso, o SLIMER tem desempenho comparável a abordagens de ponta em NER de zero-shot fora do domínio, enquanto é treinado em um conjunto reduzido de tags.

English

Recently, several specialized instruction-tuned Large Language Models (LLMs) for Named Entity Recognition (NER) have emerged. Compared to traditional NER approaches, these models have strong generalization capabilities. Existing LLMs mainly focus on zero-shot NER in out-of-domain distributions, being fine-tuned on an extensive number of entity classes that often highly or completely overlap with test sets. In this work instead, we propose SLIMER, an approach designed to tackle never-seen-before named entity tags by instructing the model on fewer examples, and by leveraging a prompt enriched with definition and guidelines. Experiments demonstrate that definition and guidelines yield better performance, faster and more robust learning, particularly when labelling unseen Named Entities. Furthermore, SLIMER performs comparably to state-of-the-art approaches in out-of-domain zero-shot NER, while being trained on a reduced tag set.