SLIMER-IT: Zero-Shot NER op de Italiaanse taal

SLIMER-IT: Zero-Shot NER on Italian Language

September 24, 2024

Auteurs: Andrew Zamai, Leonardo Rigutini, Marco Maggini, Andrea Zugarini

cs.AI

Samenvatting

Traditionele benaderingen van Named Entity Recognition (NER) kaderen de taak als een BIO-sequentie-labelprobleem. Hoewel deze systemen vaak uitblinken in de daaropvolgende taak, vereisen ze uitgebreide geannoteerde gegevens en hebben ze moeite om te generaliseren naar inputdomeinen buiten de distributie en ongeziene entiteitstypen. Aan de andere kant hebben Large Language Models (LLMs) sterke zero-shot mogelijkheden aangetoond. Hoewel verschillende werken Zero-Shot NER in het Engels behandelen, is er weinig gedaan in andere talen. In dit artikel definiëren we een evaluatiekader voor Zero-Shot NER en passen het toe op de Italiaanse taal. Bovendien introduceren we SLIMER-IT, de Italiaanse versie van SLIMER, een instructie-afstemmingsbenadering voor zero-shot NER die gebruikmaakt van prompts verrijkt met definitie en richtlijnen. Vergelijkingen met andere state-of-the-art modellen tonen de superioriteit van SLIMER-IT op nooit eerder geziene entiteitstags.

English

Traditional approaches to Named Entity Recognition (NER) frame the task into a BIO sequence labeling problem. Although these systems often excel in the downstream task at hand, they require extensive annotated data and struggle to generalize to out-of-distribution input domains and unseen entity types. On the contrary, Large Language Models (LLMs) have demonstrated strong zero-shot capabilities. While several works address Zero-Shot NER in English, little has been done in other languages. In this paper, we define an evaluation framework for Zero-Shot NER, applying it to the Italian language. Furthermore, we introduce SLIMER-IT, the Italian version of SLIMER, an instruction-tuning approach for zero-shot NER leveraging prompts enriched with definition and guidelines. Comparisons with other state-of-the-art models, demonstrate the superiority of SLIMER-IT on never-seen-before entity tags.