GLiNER multitarea: Modelo ligero generalista para diversas tareas de extracción de información

GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

June 14, 2024

Autores: Ihor Stepanov, Mykhailo Shtopko

cs.AI

Resumen

Las tareas de extracción de información requieren modelos precisos, eficientes y generalizables. Los enfoques clásicos de aprendizaje profundo supervisado pueden alcanzar el rendimiento necesario, pero requieren grandes conjuntos de datos y tienen limitaciones para adaptarse a diferentes tareas. Por otro lado, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) demuestran una buena generalización, lo que significa que pueden adaptarse a muchas tareas diferentes según las solicitudes del usuario. Sin embargo, los LLMs son computacionalmente costosos y tienden a fallar al generar salidas estructuradas. En este artículo, presentaremos un nuevo tipo de modelo GLiNER que puede utilizarse para diversas tareas de extracción de información mientras es un modelo codificador pequeño. Nuestro modelo logró un rendimiento de vanguardia (SoTA) en benchmarks de reconocimiento de entidades nombradas (NER) en modo zero-shot y un rendimiento destacado en tareas de respuesta a preguntas, resumen y extracción de relaciones. Además, en este artículo, cubriremos resultados experimentales sobre enfoques de autoaprendizaje para el reconocimiento de entidades nombradas utilizando modelos GLiNER.

English

Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.