GLiNER 멀티태스크: 다양한 정보 추출 작업을 위한 범용 경량 모델

GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

June 14, 2024

저자: Ihor Stepanov, Mykhailo Shtopko

cs.AI

초록

정보 추출 작업은 정확하고 효율적이며 일반화 가능한 모델을 요구합니다. 기존의 지도 학습 기반 딥러닝 접근법은 필요한 성능을 달성할 수 있지만, 대규모 데이터셋이 필요하며 다양한 작업에 적응하는 능력이 제한적입니다. 반면, 대형 언어 모델(LLM)은 우수한 일반화 능력을 보여주어 사용자 요청에 따라 다양한 작업에 적응할 수 있습니다. 그러나 LLM은 계산 비용이 많이 들며 구조화된 출력을 생성하는 데 실패하는 경향이 있습니다. 이 논문에서는 다양한 정보 추출 작업에 사용할 수 있는 소형 인코더 모델인 새로운 종류의 GLiNER 모델을 소개합니다. 우리의 모델은 제로샷 NER 벤치마크에서 SoTA 성능을 달성했으며, 질문 응답, 요약, 관계 추출 작업에서도 선두적인 성능을 보였습니다. 또한, 이 논문에서는 GLiNER 모델을 사용한 명명된 개체 인식을 위한 자기 학습 접근법에 대한 실험 결과를 다룰 것입니다.

English

Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.