UniversalNER: Destilação Direcionada de Modelos de Linguagem de Grande Escala para Reconhecimento Aberto de Entidades Nomeadas

UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

August 7, 2023

Autores: Wenxuan Zhou, Sheng Zhang, Yu Gu, Muhao Chen, Hoifung Poon

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado uma generalizabilidade notável, como a compreensão de entidades e relações arbitrárias. O ajuste por instrução tem se mostrado eficaz para destilar LLMs em modelos mais econômicos, como Alpaca e Vicuna. No entanto, esses modelos estudantis ainda ficam muito atrás dos LLMs originais em aplicações subsequentes. Neste artigo, exploramos a destilação direcionada com ajuste por instrução focado em missão para treinar modelos estudantis que podem se destacar em uma ampla classe de aplicações, como a extração aberta de informações. Usando o reconhecimento de entidades nomeadas (NER) como estudo de caso, mostramos como o ChatGPT pode ser destilado em modelos UniversalNER muito menores para NER aberto. Para avaliação, montamos o maior benchmark de NER até o momento, compreendendo 43 conjuntos de dados em 9 domínios diversos, como biomedicina, programação, mídias sociais, direito e finanças. Sem usar qualquer supervisão direta, o UniversalNER atinge uma precisão notável em NER em dezenas de milhares de tipos de entidades, superando modelos ajustados por instrução geral, como Alpaca e Vicuna, em mais de 30 pontos F1 absolutos em média. Com uma fração minúscula de parâmetros, o UniversalNER não apenas adquire a capacidade do ChatGPT de reconhecer tipos de entidades arbitrários, mas também supera sua precisão em NER em 7-9 pontos F1 absolutos em média. Notavelmente, o UniversalNER até supera por uma grande margem sistemas de última geração ajustados por instrução multitarefa, como o InstructUIE, que usa exemplos supervisionados de NER. Também realizamos estudos de ablação completos para avaliar o impacto de vários componentes em nossa abordagem de destilação. Liberaremos a receita de destilação, os dados e os modelos UniversalNER para facilitar pesquisas futuras sobre destilação direcionada.

English

Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT's capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.