GLiNER multi-task: Algemeen lichtgewicht model voor diverse informatie-extractietaken
GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks
June 14, 2024
Auteurs: Ihor Stepanov, Mykhailo Shtopko
cs.AI
Samenvatting
Informatie-extractietaken vereisen zowel nauwkeurige, efficiënte als generaliseerbare modellen. Klassieke, begeleide deep learning-benaderingen kunnen de vereiste prestaties leveren, maar ze hebben grote datasets nodig en zijn beperkt in hun vermogen om zich aan te passen aan verschillende taken. Aan de andere kant tonen grote taalmmodellen (LLMs) goede generalisatie, wat betekent dat ze zich kunnen aanpassen aan veel verschillende taken op basis van gebruikersverzoeken. LLMs zijn echter rekenkundig duur en hebben de neiging om gestructureerde outputs niet goed te genereren. In dit artikel introduceren we een nieuw soort GLiNER-model dat kan worden gebruikt voor diverse informatie-extractietaken, terwijl het een klein encodermodel blijft. Ons model behaalde state-of-the-art prestaties op zero-shot NER-benchmarks en leidende prestaties op vraag-antwoord-, samenvattings- en relatie-extractietaken. Daarnaast zullen we in dit artikel experimentele resultaten bespreken over zelflerende benaderingen voor named entity recognition met behulp van GLiNER-modellen.
English
Information extraction tasks require both accurate, efficient, and
generalisable models. Classical supervised deep learning approaches can achieve
the required performance, but they need large datasets and are limited in their
ability to adapt to different tasks. On the other hand, large language models
(LLMs) demonstrate good generalization, meaning that they can adapt to many
different tasks based on user requests. However, LLMs are computationally
expensive and tend to fail to generate structured outputs. In this article, we
will introduce a new kind of GLiNER model that can be used for various
information extraction tasks while being a small encoder model. Our model
achieved SoTA performance on zero-shot NER benchmarks and leading performance
on question-answering, summarization and relation extraction tasks.
Additionally, in this article, we will cover experimental results on
self-learning approaches for named entity recognition using GLiNER models.