GLiNER multi-task: Обобщенная легкая модель для различных задач извлечения информации.
GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks
June 14, 2024
Авторы: Ihor Stepanov, Mykhailo Shtopko
cs.AI
Аннотация
Задачи извлечения информации требуют точных, эффективных и обобщаемых моделей. Классические надзорные подходы глубокого обучения могут достичь необходимой производительности, но им требуются большие наборы данных и они ограничены в своей способности к адаптации к различным задачам. С другой стороны, большие языковые модели (LLM) демонстрируют хорошую обобщаемость, что означает, что они могут адаптироваться к множеству различных задач на основе запросов пользователей. Однако LLM являются вычислительно затратными и обычно не могут генерировать структурированные выходные данные. В данной статье мы представим новый тип модели GLiNER, который может использоваться для различных задач извлечения информации, оставаясь при этом небольшой моделью кодировщика. Наша модель достигла лучшей производительности на нулевых бенчмарках NER и ведущую производительность в задачах вопросно-ответной системы, суммаризации и извлечения отношений. Кроме того, в данной статье мы рассмотрим экспериментальные результаты самообучения для распознавания именованных сущностей с использованием моделей GLiNER.
English
Information extraction tasks require both accurate, efficient, and
generalisable models. Classical supervised deep learning approaches can achieve
the required performance, but they need large datasets and are limited in their
ability to adapt to different tasks. On the other hand, large language models
(LLMs) demonstrate good generalization, meaning that they can adapt to many
different tasks based on user requests. However, LLMs are computationally
expensive and tend to fail to generate structured outputs. In this article, we
will introduce a new kind of GLiNER model that can be used for various
information extraction tasks while being a small encoder model. Our model
achieved SoTA performance on zero-shot NER benchmarks and leading performance
on question-answering, summarization and relation extraction tasks.
Additionally, in this article, we will cover experimental results on
self-learning approaches for named entity recognition using GLiNER models.