GLiNER Multi-Task: Generalistisches Leichtgewichtsmodell für verschiedene Informationsextraktionsaufgaben

GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

June 14, 2024

Autoren: Ihor Stepanov, Mykhailo Shtopko

cs.AI

Zusammenfassung

Informationsextraktionstasks erfordern genaue, effiziente und generalisierbare Modelle. Klassische überwachte Deep-Learning-Ansätze können die erforderliche Leistung erbringen, benötigen jedoch große Datensätze und sind in ihrer Fähigkeit, sich an verschiedene Aufgaben anzupassen, begrenzt. Andererseits zeigen große Sprachmodelle (LLMs) eine gute Verallgemeinerungsfähigkeit, was bedeutet, dass sie sich auf viele verschiedene Aufgaben basierend auf Benutzeranfragen anpassen können. LLMs sind jedoch rechenaufwendig und neigen dazu, strukturierte Ausgaben nicht zu generieren. In diesem Artikel werden wir ein neues GLiNER-Modell vorstellen, das für verschiedene Informationsextraktionstasks verwendet werden kann, während es sich um ein kleines Encoder-Modell handelt. Unser Modell erzielte die beste Leistung auf Zero-Shot-NER-Benchmarks und führende Leistung bei Frage-Antworten, Zusammenfassungen und Beziehungsextraktionstasks. Darüber hinaus werden in diesem Artikel experimentelle Ergebnisse zu selbstlernenden Ansätzen für die benannte Entitätenerkennung unter Verwendung von GLiNER-Modellen behandelt.

English

Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.