SLIMER-IT: Reconocimiento de Entidades Nombradas sin etiquetado en el idioma italiano.

SLIMER-IT: Zero-Shot NER on Italian Language

September 24, 2024

Autores: Andrew Zamai, Leonardo Rigutini, Marco Maggini, Andrea Zugarini

cs.AI

Resumen

Los enfoques tradicionales para el Reconocimiento de Entidades Nombradas (NER) enmarcan la tarea en un problema de etiquetado de secuencias BIO. Aunque estos sistemas a menudo sobresalen en la tarea subyacente, requieren datos anotados extensos y tienen dificultades para generalizar a dominios de entrada fuera de distribución y tipos de entidades no vistos. Por el contrario, los Modelos de Lenguaje Grandes (LLMs) han demostrado fuertes capacidades de cero disparo. Si bien varios trabajos abordan el NER de Cero Disparo en inglés, se ha hecho poco en otros idiomas. En este documento, definimos un marco de evaluación para el NER de Cero Disparo, aplicándolo al idioma italiano. Además, presentamos SLIMER-IT, la versión italiana de SLIMER, un enfoque de ajuste de instrucciones para NER de cero disparo que aprovecha indicaciones enriquecidas con definiciones y pautas. Comparaciones con otros modelos de última generación demuestran la superioridad de SLIMER-IT en etiquetas de entidades nunca antes vistas.

English

Traditional approaches to Named Entity Recognition (NER) frame the task into a BIO sequence labeling problem. Although these systems often excel in the downstream task at hand, they require extensive annotated data and struggle to generalize to out-of-distribution input domains and unseen entity types. On the contrary, Large Language Models (LLMs) have demonstrated strong zero-shot capabilities. While several works address Zero-Shot NER in English, little has been done in other languages. In this paper, we define an evaluation framework for Zero-Shot NER, applying it to the Italian language. Furthermore, we introduce SLIMER-IT, the Italian version of SLIMER, an instruction-tuning approach for zero-shot NER leveraging prompts enriched with definition and guidelines. Comparisons with other state-of-the-art models, demonstrate the superiority of SLIMER-IT on never-seen-before entity tags.