UniversalNER: 大規模言語モデルからのターゲット蒸留によるオープンな固有表現認識

要旨

大規模言語モデル（LLM）は、任意のエンティティや関係を理解するなど、驚異的な汎化能力を示しています。命令チューニングは、LLMをAlpacaやVicunaのようなよりコスト効率の高いモデルに蒸留するのに有効であることが証明されています。しかし、そのような学生モデルは、下流のアプリケーションにおいて依然として元のLLMに大きく遅れを取っています。本論文では、特定のミッションに焦点を当てた命令チューニングを用いたターゲット蒸留を探求し、オープン情報抽出などの広範なアプリケーションクラスで優れた性能を発揮する学生モデルを訓練します。ケーススタディとして固有表現認識（NER）を使用し、ChatGPTをオープンNER用のはるかに小さいUniversalNERモデルに蒸留する方法を示します。評価のために、生物医学、プログラミング、ソーシャルメディア、法律、金融など9つの多様なドメインにわたる43のデータセットからなる最大のNERベンチマークを構築しました。直接的な教師データを使用せずに、UniversalNERは数万のエンティティタイプにわたって驚異的なNER精度を達成し、AlpacaやVicunaのような一般的な命令チューニングモデルを平均で30ポイント以上の絶対F1スコアで上回りました。パラメータ数が非常に少ないにもかかわらず、UniversalNERはChatGPTの任意のエンティティタイプを認識する能力を獲得するだけでなく、そのNER精度を平均で7-9ポイントの絶対F1スコアで上回りました。さらに驚くべきことに、UniversalNERは、教師付きNER例を使用するInstructUIEのような最先端のマルチタスク命令チューニングシステムを大きく上回りました。また、蒸留アプローチにおけるさまざまなコンポーネントの影響を評価するために、徹底的なアブレーション研究を実施しました。今後のターゲット蒸留研究を促進するために、蒸留レシピ、データ、およびUniversalNERモデルを公開する予定です。

English

Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT's capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.

UniversalNER: 大規模言語モデルからのターゲット蒸留によるオープンな固有表現認識

UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

要旨

Support