UniversalNER: Целевая дистилляция из крупных языковых моделей для открытого распознавания именованных сущностей

UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

August 7, 2023

Авторы: Wenxuan Zhou, Sheng Zhang, Yu Gu, Muhao Chen, Hoifung Poon

cs.AI

Аннотация

Крупные языковые модели (LLMs) продемонстрировали впечатляющую способность к обобщению, например, в понимании произвольных сущностей и отношений. Настройка на инструкции доказала свою эффективность для дистилляции LLMs в более экономичные модели, такие как Alpaca и Vicuna. Однако такие ученические модели всё ещё значительно отстают от оригинальных LLMs в прикладных задачах. В данной работе мы исследуем целевую дистилляцию с настройкой на инструкции, ориентированной на конкретную задачу, чтобы обучать ученические модели, способные преуспеть в широком классе приложений, таких как открытое извлечение информации. Используя распознавание именованных сущностей (NER) в качестве кейс-стади, мы показываем, как ChatGPT может быть дистиллирован в значительно меньшие модели UniversalNER для открытого NER. Для оценки мы собрали крупнейший на сегодняшний день бенчмарк NER, включающий 43 набора данных из 9 различных областей, таких как биомедицина, программирование, социальные сети, право, финансы. Без использования прямого обучения UniversalNER достигает впечатляющей точности NER для десятков тысяч типов сущностей, превосходя общие модели, настроенные на инструкции, такие как Alpaca и Vicuna, в среднем на более чем 30 абсолютных пунктов F1. Имея крошечную долю параметров, UniversalNER не только приобретает способность ChatGPT распознавать произвольные типы сущностей, но и превосходит его точность NER в среднем на 7-9 абсолютных пунктов F1. Примечательно, что UniversalNER значительно опережает современные многозадачные системы, настроенные на инструкции, такие как InstructUIE, которые используют контролируемые примеры NER. Мы также проводим тщательные исследования влияния различных компонентов нашего подхода к дистилляции. Мы опубликуем рецепт дистилляции, данные и модели UniversalNER, чтобы способствовать дальнейшим исследованиям в области целевой дистилляции.

English

Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT's capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.