SLIMER-IT: Reconhecimento de Entidades Nomeadas sem Anotação para a Língua Italiana

SLIMER-IT: Zero-Shot NER on Italian Language

September 24, 2024

Autores: Andrew Zamai, Leonardo Rigutini, Marco Maggini, Andrea Zugarini

cs.AI

Resumo

Abordagens tradicionais para Reconhecimento de Entidades Nomeadas (NER) estruturam a tarefa como um problema de rotulagem de sequência BIO. Embora esses sistemas frequentemente se destaquem na tarefa subsequente em questão, eles exigem dados anotados extensivamente e têm dificuldade em generalizar para domínios de entrada fora da distribuição e tipos de entidades não vistos. Ao contrário disso, Modelos de Linguagem Grandes (LLMs) têm demonstrado fortes capacidades de zero-shot. Enquanto vários trabalhos abordam o NER de Zero-Shot em inglês, pouco foi feito em outros idiomas. Neste artigo, definimos um framework de avaliação para Zero-Shot NER, aplicando-o ao idioma italiano. Além disso, apresentamos o SLIMER-IT, a versão italiana do SLIMER, uma abordagem de ajuste de instrução para NER de zero-shot aproveitando prompts enriquecidos com definição e diretrizes. Comparando com outros modelos de ponta, demonstramos a superioridade do SLIMER-IT em tags de entidades nunca vistas antes.

English

Traditional approaches to Named Entity Recognition (NER) frame the task into a BIO sequence labeling problem. Although these systems often excel in the downstream task at hand, they require extensive annotated data and struggle to generalize to out-of-distribution input domains and unseen entity types. On the contrary, Large Language Models (LLMs) have demonstrated strong zero-shot capabilities. While several works address Zero-Shot NER in English, little has been done in other languages. In this paper, we define an evaluation framework for Zero-Shot NER, applying it to the Italian language. Furthermore, we introduce SLIMER-IT, the Italian version of SLIMER, an instruction-tuning approach for zero-shot NER leveraging prompts enriched with definition and guidelines. Comparisons with other state-of-the-art models, demonstrate the superiority of SLIMER-IT on never-seen-before entity tags.