SLIMER-IT: Zero-Shot NER in italienischer Sprache

SLIMER-IT: Zero-Shot NER on Italian Language

September 24, 2024

Autoren: Andrew Zamai, Leonardo Rigutini, Marco Maggini, Andrea Zugarini

cs.AI

Zusammenfassung

Traditionelle Ansätze zur benannten Entitätenerkennung (NER) fassen die Aufgabe als ein BIO-Sequenzmarkierungsproblem auf. Obwohl diese Systeme oft bei der nachgelagerten Aufgabe hervorragende Leistungen erbringen, erfordern sie umfangreiche annotierte Daten und haben Schwierigkeiten, auf Eingabebereiche außerhalb der Verteilung und unbekannte Entitätentypen zu verallgemeinern. Im Gegensatz dazu haben große Sprachmodelle (LLMs) starke Null-Schuss-Fähigkeiten gezeigt. Während mehrere Arbeiten das Null-Schuss-NER in Englisch behandeln, wurde in anderen Sprachen wenig unternommen. In diesem Artikel definieren wir einen Bewertungsrahmen für Null-Schuss-NER und wenden ihn auf die italienische Sprache an. Darüber hinaus stellen wir SLIMER-IT vor, die italienische Version von SLIMER, einem Anleitung-Abstimmungsansatz für Null-Schuss-NER, der auf mit Definitionen und Richtlinien angereicherten Aufforderungen basiert. Vergleiche mit anderen modernsten Modellen zeigen die Überlegenheit von SLIMER-IT bei nie zuvor gesehenen Entitätentags.

English

Traditional approaches to Named Entity Recognition (NER) frame the task into a BIO sequence labeling problem. Although these systems often excel in the downstream task at hand, they require extensive annotated data and struggle to generalize to out-of-distribution input domains and unseen entity types. On the contrary, Large Language Models (LLMs) have demonstrated strong zero-shot capabilities. While several works address Zero-Shot NER in English, little has been done in other languages. In this paper, we define an evaluation framework for Zero-Shot NER, applying it to the Italian language. Furthermore, we introduce SLIMER-IT, the Italian version of SLIMER, an instruction-tuning approach for zero-shot NER leveraging prompts enriched with definition and guidelines. Comparisons with other state-of-the-art models, demonstrate the superiority of SLIMER-IT on never-seen-before entity tags.