UniversalNER: Gerichte destillatie van grote taalmodellen voor open herkenning van benoemde entiteiten

UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

August 7, 2023

Auteurs: Wenxuan Zhou, Sheng Zhang, Yu Gu, Muhao Chen, Hoifung Poon

cs.AI

Samenvatting

Grote taalmmodellen (LLM's) hebben opmerkelijke generaliseerbaarheid getoond, zoals het begrijpen van willekeurige entiteiten en relaties. Instructie-afstemming is effectief gebleken voor het destilleren van LLM's naar kostenefficiëntere modellen zoals Alpaca en Vicuna. Toch blijven dergelijke studentmodellen in downstream-toepassingen nog steeds ver achter bij de originele LLM's. In dit artikel onderzoeken we gerichte destillatie met missiegerichte instructie-afstemming om studentmodellen te trainen die kunnen uitblinken in een brede toepassingsklasse, zoals open informatie-extractie. Met behulp van named entity recognition (NER) als casestudy laten we zien hoe ChatGPT kan worden gedestilleerd in veel kleinere UniversalNER-modellen voor open NER. Voor evaluatie stellen we de grootste NER-benchmark tot nu toe samen, bestaande uit 43 datasets in 9 diverse domeinen zoals biomedicine, programmeren, sociale media, recht en financiën. Zonder enige directe supervisie te gebruiken, behaalt UniversalNER opmerkelijke NER-nauwkeurigheid over tienduizenden entiteitstypen, en overtreft het algemene instructie-afgestemde modellen zoals Alpaca en Vicuna met meer dan 30 absolute F1-punten gemiddeld. Met een fractie van het aantal parameters verwerft UniversalNER niet alleen ChatGPT's vermogen om willekeurige entiteitstypen te herkennen, maar overtreft het ook de NER-nauwkeurigheid van ChatGPT met 7-9 absolute F1-punten gemiddeld. Opmerkelijk is dat UniversalNER zelfs met een grote marge state-of-the-art multi-task instructie-afgestemde systemen zoals InstructUIE overtreft, dat gebruikmaakt van gesuperviseerde NER-voorbeelden. We voeren ook grondige ablatiestudies uit om de impact van verschillende componenten in onze destillatieaanpak te beoordelen. We zullen het destillatierecept, de data en de UniversalNER-modellen vrijgeven om toekomstig onderzoek naar gerichte destillatie te faciliteren.

English

Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT's capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.