Научный инструмент SciPrompt: Знаниевозрастающее подсказывание для тонкой категоризации научных тем.

SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics

October 2, 2024

Авторы: Zhiwen You, Kanyao Han, Haotian Zhu, Bertram Ludäscher, Jana Diesner

cs.AI

Аннотация

Настройка модели на основе подсказок стала неотъемлемым методом для извлечения информации, закодированной в предварительно обученных языковых моделях, для различных задач, включая классификацию текста. Для задач многоклассовой классификации настройка модели на основе подсказок в условиях ограниченных ресурсов привела к уровню производительности, сравнимому с методами полной настройки. В предыдущих исследованиях использовались созданные шаблоны подсказок и вербализаторы, отображающие пространство терминов меток в пространство классов, чтобы решить проблему классификации как задачу маскированного языкового моделирования. Однако кросс-доменная и тонкая настройка модели на основе подсказок с автоматически обогащенным вербализатором остается неисследованной, в основном из-за сложности и затрат на ручной выбор доменных терминов меток для вербализатора, что требует участия людей с экспертизой в области. Для решения этой проблемы мы представляем SciPrompt, фреймворк, разработанный для автоматического извлечения терминов, связанных с научной тематикой, для задач классификации текста с ограниченными ресурсами. Для этого мы выбираем семантически коррелированные и специфичные для области термины меток в контексте научной литературы для расширения вербализатора. Более того, мы предлагаем новую стратегию вербализации, которая использует оценки корреляции в качестве дополнительных весов для улучшения производительности прогнозирования языковой модели во время настройки модели. Наш метод превосходит современные методы настройки модели на основе подсказок в задачах классификации научного текста в условиях небольшого и нулевого количества обучающих примеров, особенно в классификации тонких и новых научных тем.

English

Prompt-based fine-tuning has become an essential method for eliciting information encoded in pre-trained language models for a variety of tasks, including text classification. For multi-class classification tasks, prompt-based fine-tuning under low-resource scenarios has resulted in performance levels comparable to those of fully fine-tuning methods. Previous studies have used crafted prompt templates and verbalizers, mapping from the label terms space to the class space, to solve the classification problem as a masked language modeling task. However, cross-domain and fine-grained prompt-based fine-tuning with an automatically enriched verbalizer remains unexplored, mainly due to the difficulty and costs of manually selecting domain label terms for the verbalizer, which requires humans with domain expertise. To address this challenge, we introduce SciPrompt, a framework designed to automatically retrieve scientific topic-related terms for low-resource text classification tasks. To this end, we select semantically correlated and domain-specific label terms within the context of scientific literature for verbalizer augmentation. Furthermore, we propose a new verbalization strategy that uses correlation scores as additional weights to enhance the prediction performance of the language model during model tuning. Our method outperforms state-of-the-art, prompt-based fine-tuning methods on scientific text classification tasks under few and zero-shot settings, especially in classifying fine-grained and emerging scientific topics.