GLiNER multi-task: Modello Generalista Leggero per Varie Attività di Estrazione di Informazioni

GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

June 14, 2024

Autori: Ihor Stepanov, Mykhailo Shtopko

cs.AI

Abstract

I compiti di estrazione delle informazioni richiedono modelli accurati, efficienti e generalizzabili. Gli approcci classici di deep learning supervisionato possono raggiungere le prestazioni necessarie, ma hanno bisogno di grandi dataset e sono limitati nella loro capacità di adattarsi a diversi compiti. D'altro canto, i grandi modelli linguistici (LLM) dimostrano una buona generalizzazione, il che significa che possono adattarsi a molti compiti diversi in base alle richieste dell'utente. Tuttavia, gli LLM sono computazionalmente costosi e tendono a fallire nella generazione di output strutturati. In questo articolo, introdurremo un nuovo tipo di modello GLiNER che può essere utilizzato per vari compiti di estrazione delle informazioni pur essendo un piccolo modello di codifica. Il nostro modello ha raggiunto prestazioni SoTA su benchmark NER zero-shot e prestazioni leader nei compiti di risposta alle domande, riassunto ed estrazione di relazioni. Inoltre, in questo articolo, copriremo i risultati sperimentali sugli approcci di auto-apprendimento per il riconoscimento di entità nominate utilizzando modelli GLiNER.

English

Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.