UniversalNER: Gezielte Destillation großer Sprachmodelle für offene Erkennung benannter Entitäten

UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

August 7, 2023

papers.authors: Wenxuan Zhou, Sheng Zhang, Yu Gu, Muhao Chen, Hoifung Poon

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben eine bemerkenswerte Generalisierungsfähigkeit bewiesen, wie beispielsweise das Verständnis beliebiger Entitäten und Relationen. Instruction Tuning hat sich als effektiv erwiesen, um LLMs in kosteneffizientere Modelle wie Alpaca und Vicuna zu destillieren. Dennoch hinken solche Schülermodelle den ursprünglichen LLMs in nachgelagerten Anwendungen deutlich hinterher. In diesem Artikel untersuchen wir gezielte Destillation mit missionsorientiertem Instruction Tuning, um Schülermodelle zu trainieren, die in einer breiten Anwendungsklasse wie der offenen Informationsextraktion hervorragende Leistungen erbringen können. Anhand einer Fallstudie zur Named Entity Recognition (NER) zeigen wir, wie ChatGPT in viel kleinere UniversalNER-Modelle für offene NER destilliert werden kann. Zur Evaluierung stellen wir den bisher größten NER-Benchmark zusammen, der 43 Datensätze aus 9 verschiedenen Domänen wie Biomedizin, Programmierung, Social Media, Recht und Finanzen umfasst. Ohne direkte Überwachung zu verwenden, erreicht UniversalNER eine bemerkenswerte NER-Genauigkeit über Zehntausende von Entitätstypen hinweg und übertrifft allgemeine, instruction-getunte Modelle wie Alpaca und Vicuna im Durchschnitt um über 30 absolute F1-Punkte. Mit einem winzigen Bruchteil der Parameter erwirbt UniversalNER nicht nur die Fähigkeit von ChatGPT, beliebige Entitätstypen zu erkennen, sondern übertrifft dessen NER-Genauigkeit im Durchschnitt um 7-9 absolute F1-Punkte. Bemerkenswerterweise übertrifft UniversalNER sogar state-of-the-art, multi-task instruction-getunte Systeme wie InstructUIE, das überwachte NER-Beispiele verwendet, deutlich. Wir führen auch umfassende Ablationsstudien durch, um die Auswirkungen verschiedener Komponenten in unserem Destillationsansatz zu bewerten. Wir werden das Destillationsrezept, die Daten und die UniversalNER-Modelle veröffentlichen, um zukünftige Forschungen zur gezielten Destillation zu erleichtern.

English

Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT's capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.