GLiNERマルチタスク：多様な情報抽出タスクのための汎用軽量モデル

GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

June 14, 2024

著者: Ihor Stepanov, Mykhailo Shtopko

cs.AI

要旨

情報抽出タスクには、正確で効率的かつ汎化可能なモデルが求められます。従来の教師あり深層学習アプローチは必要な性能を達成できますが、大規模なデータセットを必要とし、異なるタスクへの適応能力に限界があります。一方、大規模言語モデル（LLM）は優れた汎化能力を示し、ユーザーの要求に基づいて多くの異なるタスクに適応できます。しかし、LLMは計算コストが高く、構造化された出力を生成するのに失敗しがちです。本記事では、様々な情報抽出タスクに使用可能でありながら、小さなエンコーダモデルである新しい種類のGLiNERモデルを紹介します。我々のモデルは、ゼロショットNERベンチマークでSoTA性能を達成し、質問応答、要約、関係抽出タスクでリーダー的な性能を示しました。さらに、本記事では、GLiNERモデルを使用した固有表現認識のための自己学習アプローチに関する実験結果も取り上げます。

English

Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.