GLiNER multi-tâche : Modèle Léger Généraliste pour Diverses Tâches d'Extraction d'Informations

GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

June 14, 2024

Auteurs: Ihor Stepanov, Mykhailo Shtopko

cs.AI

Résumé

Les tâches d'extraction d'information nécessitent des modèles à la fois précis, efficaces et généralisables. Les approches classiques d'apprentissage profond supervisé peuvent atteindre les performances requises, mais elles nécessitent de grands ensembles de données et sont limitées dans leur capacité à s'adapter à différentes tâches. D'autre part, les grands modèles de langage (LLMs) démontrent une bonne généralisation, ce qui signifie qu'ils peuvent s'adapter à de nombreuses tâches différentes en fonction des demandes des utilisateurs. Cependant, les LLMs sont coûteux en termes de calcul et ont tendance à échouer dans la génération de sorties structurées. Dans cet article, nous présenterons un nouveau type de modèle GLiNER qui peut être utilisé pour diverses tâches d'extraction d'information tout en étant un petit modèle encodeur. Notre modèle a atteint des performances de pointe (SoTA) sur des benchmarks de reconnaissance d'entités nommées (NER) en zero-shot et des performances de premier plan sur des tâches de question-réponse, de résumé et d'extraction de relations. De plus, dans cet article, nous aborderons les résultats expérimentaux sur les approches d'auto-apprentissage pour la reconnaissance d'entités nommées utilisant des modèles GLiNER.

English

Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.