UniversalNER: Distillazione Mirata da Modelli Linguistici di Grandi Dimensioni per il Riconoscimento Aperto di Entità Nominate

UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

August 7, 2023

Autori: Wenxuan Zhou, Sheng Zhang, Yu Gu, Muhao Chen, Hoifung Poon

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato una notevole capacità di generalizzazione, come la comprensione di entità e relazioni arbitrarie. L'ottimizzazione tramite istruzioni si è rivelata efficace per distillare gli LLM in modelli più efficienti in termini di costi, come Alpaca e Vicuna. Tuttavia, tali modelli "studenti" rimangono ancora ampiamente inferiori rispetto agli LLM originali nelle applicazioni downstream. In questo articolo, esploriamo la distillazione mirata con un'ottimizzazione tramite istruzioni focalizzata su obiettivi specifici, per addestrare modelli studenti che possano eccellere in un'ampia classe di applicazioni, come l'estrazione aperta di informazioni. Utilizzando il riconoscimento di entità nominate (NER) come caso di studio, mostriamo come ChatGPT possa essere distillato in modelli UniversalNER molto più piccoli per il NER aperto. Per la valutazione, abbiamo assemblato il più grande benchmark NER fino ad oggi, comprendente 43 dataset in 9 domini diversi come biomedicina, programmazione, social media, diritto e finanza. Senza utilizzare alcuna supervisione diretta, UniversalNER raggiunge una precisione NER notevole su decine di migliaia di tipi di entità, superando modelli ottimizzati tramite istruzioni generali come Alpaca e Vicuna di oltre 30 punti F1 assoluti in media. Con una frazione minima di parametri, UniversalNER non solo acquisisce la capacità di ChatGPT di riconoscere tipi di entità arbitrari, ma supera anche la sua precisione NER di 7-9 punti F1 assoluti in media. Sorprendentemente, UniversalNER supera di gran lunga anche i sistemi all'avanguardia ottimizzati per più compiti tramite istruzioni, come InstructUIE, che utilizza esempi NER supervisionati. Abbiamo anche condotto studi di ablazione approfonditi per valutare l'impatto di vari componenti nel nostro approccio di distillazione. Rilasceremo la ricetta di distillazione, i dati e i modelli UniversalNER per facilitare future ricerche sulla distillazione mirata.

English

Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT's capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.