SciPrompt: 과학 주제의 세분화된 범주화를 위한 지식 증강 프롬프팅

SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics

October 2, 2024

저자: Zhiwen You, Kanyao Han, Haotian Zhu, Bertram Ludäscher, Jana Diesner

cs.AI

초록

프롬프트 기반 세밀 조정은 다양한 작업을 위해 사전 훈련된 언어 모델에 인코딩된 정보를 추출하는 핵심 방법으로 자리 잡았으며, 이는 텍스트 분류를 포함한 여러 작업에 사용됩니다. 다중 클래스 분류 작업의 경우, 저자원 시나리오에서의 프롬프트 기반 세밀 조정은 완전히 세밀 조정된 방법과 유사한 성능 수준을 보여주었습니다. 이전 연구에서는 레이블 용어 공간에서 클래스 공간으로 매핑하는 정제된 프롬프트 템플릿과 어구화기를 사용하여, 분류 문제를 마스크된 언어 모델링 작업으로 해결했습니다. 그러나 자동으로 풍부한 어구화기로 교차 도메인 및 세밀한 프롬프트 기반 세밀 조정은 탐구되지 않았습니다. 이는 어구화기를 위해 도메인 레이블 용어를 수동으로 선택하는 어려움과 비용 때문에 주로 발생하며, 이는 해당 도메인 전문 지식을 가진 사람이 필요합니다. 이러한 도전에 대처하기 위해, 저희는 저자원 텍스트 분류 작업을 위해 과학 주제 관련 용어를 자동으로 검색하는 SciPrompt라는 프레임워크를 소개합니다. 이를 위해 과학 문헌의 맥락에서 의미론적으로 상관된 도메인 특정 레이블 용어를 선택하여 어구화기를 보강합니다. 더불어, 상관 점수를 추가 가중치로 사용하는 새로운 어구화 전략을 제안하여 모델 조정 중 언어 모델의 예측 성능을 향상시킵니다. 저희 방법은 소수 및 제로샷 설정에서 과학 텍스트 분류 작업에서 최신 기술인 프롬프트 기반 세밀 조정 방법을 능가하며, 특히 세밀하고 신흥적인 과학 주제를 분류하는 데 뛰어난 성과를 보입니다.

English

Prompt-based fine-tuning has become an essential method for eliciting information encoded in pre-trained language models for a variety of tasks, including text classification. For multi-class classification tasks, prompt-based fine-tuning under low-resource scenarios has resulted in performance levels comparable to those of fully fine-tuning methods. Previous studies have used crafted prompt templates and verbalizers, mapping from the label terms space to the class space, to solve the classification problem as a masked language modeling task. However, cross-domain and fine-grained prompt-based fine-tuning with an automatically enriched verbalizer remains unexplored, mainly due to the difficulty and costs of manually selecting domain label terms for the verbalizer, which requires humans with domain expertise. To address this challenge, we introduce SciPrompt, a framework designed to automatically retrieve scientific topic-related terms for low-resource text classification tasks. To this end, we select semantically correlated and domain-specific label terms within the context of scientific literature for verbalizer augmentation. Furthermore, we propose a new verbalization strategy that uses correlation scores as additional weights to enhance the prediction performance of the language model during model tuning. Our method outperforms state-of-the-art, prompt-based fine-tuning methods on scientific text classification tasks under few and zero-shot settings, especially in classifying fine-grained and emerging scientific topics.