GLiNER multitarefa: Modelo Leve Generalista para Diversas Tarefas de Extração de Informação
GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks
June 14, 2024
Autores: Ihor Stepanov, Mykhailo Shtopko
cs.AI
Resumo
Tarefas de extração de informação exigem modelos precisos, eficientes e generalizáveis. Abordagens clássicas de aprendizado profundo supervisionado podem alcançar o desempenho necessário, mas requerem grandes conjuntos de dados e têm limitações na capacidade de se adaptar a diferentes tarefas. Por outro lado, modelos de linguagem de grande escala (LLMs) demonstram boa generalização, o que significa que podem se adaptar a diversas tarefas com base em solicitações do usuário. No entanto, LLMs são computacionalmente caros e tendem a falhar na geração de saídas estruturadas. Neste artigo, apresentaremos um novo tipo de modelo GLiNER que pode ser usado para várias tarefas de extração de informação, sendo um modelo codificador pequeno. Nosso modelo alcançou desempenho de estado da arte (SoTA) em benchmarks de reconhecimento de entidades nomeadas (NER) zero-shot e desempenho líder em tarefas de resposta a perguntas, sumarização e extração de relações. Além disso, neste artigo, abordaremos resultados experimentais sobre abordagens de autoaprendizagem para reconhecimento de entidades nomeadas usando modelos GLiNER.
English
Information extraction tasks require both accurate, efficient, and
generalisable models. Classical supervised deep learning approaches can achieve
the required performance, but they need large datasets and are limited in their
ability to adapt to different tasks. On the other hand, large language models
(LLMs) demonstrate good generalization, meaning that they can adapt to many
different tasks based on user requests. However, LLMs are computationally
expensive and tend to fail to generate structured outputs. In this article, we
will introduce a new kind of GLiNER model that can be used for various
information extraction tasks while being a small encoder model. Our model
achieved SoTA performance on zero-shot NER benchmarks and leading performance
on question-answering, summarization and relation extraction tasks.
Additionally, in this article, we will cover experimental results on
self-learning approaches for named entity recognition using GLiNER models.