PAST-TIDE: 입장 탐지를 위한 주제 불변 정규화를 적용한 프로토타입 기반 진술 튜닝

초록

본 논문에서는 NakbaNLP@LREC-COLING 2026의 StanceNakba 공유 과제의 두 하위 과제를 모두 해결하는 스탠스 탐지 시스템인 PAST-TIDE를 소개한다. 핵심 아이디어는 진술 튜닝(statement tuning)이다. 우리는 스탠스를 클로즈 스타일의 마스크 언어 모델링(MLM)으로 재정의하여, 무작위로 초기화된 분류 헤드를 추가하는 대신 사전 학습된 MLM 헤드를 통해 버벌라이저(verbalizer)가 레이블 단어를 스탠스 범주로 매핑하도록 한다. 여기에 학습 가능한 클래스 프로토타입을 활용하여 배치 크기에 독립적인 대조 학습을 수행하는 프로토타입 대조 학습(prototypical contrastive learning)과 주제 간 아랍어 스탠스 탐지를 위한 주제 조건부 층 정규화(topic-conditional layer normalization)를 보완한다. PAST-TIDE는 공식 리더보드에서 하위 과제 A에 대해 0.75, 하위 과제 B에 대해 0.74의 매크로 F1 점수를 달성하였으며, 이는 사전 학습 모델에 최소한의 구조적 추가만으로도 저자원 환경에서 경쟁력을 유지할 수 있음을 시사한다.

English

We introduce PAST-TIDE, our stance detection system addressing both subtasks of the StanceNakba Shared Task at NakbaNLP@LREC-COLING 2026. The main idea is statement tuning. We redefine stance as cloze-style masked language modeling (MLM), letting a verbalizer map label words to stance categories through the pre-trained MLM head rather than appending a randomly initialized classification head. We complement this with prototypical contrastive learning, which uses learnable class prototypes for batch-size independent contrastive training, and topic-conditional layer normalization for cross-topic Arabic stance detection. PAST-TIDE achieves macro-F1 scores of 0.75 for Subtask A and 0.74 for Subtask B on the official leaderboard, indicating that minimal architectural additions to a pre-trained model can remain competitive in low-resource settings.