DeMeVa at LeWiDi-2025: 인-컨텍스트 학습과 레이블 분포 학습을 통한 관점 모델링

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

저자: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

초록

본 시스템 논문은 DeMeVa 팀이 Learning with Disagreements 공유 과제의 세 번째 에디션(LeWiDi 2025; Leonardelli et al., 2025)에 대해 제안한 접근 방식을 소개합니다. 우리는 두 가지 방향을 탐구했습니다: 첫째, 대규모 언어 모델을 활용한 컨텍스트 내 학습(in-context learning, ICL)에서 예제 샘플링 전략을 비교하였고, 둘째, RoBERTa(Liu et al., 2019b)를 사용한 레이블 분포 학습(label distribution learning, LDL) 방법에서 여러 미세 조정(fine-tuning) 방법을 평가했습니다. 우리의 기여는 두 가지입니다: (1) ICL이 주석자별 주석(관점주의적 주석)을 효과적으로 예측할 수 있으며, 이러한 예측을 소프트 레이블로 집계하면 경쟁력 있는 성능을 얻을 수 있음을 보였고, (2) LDL 방법이 소프트 레이블 예측에 유망하며, 관점주의 커뮤니티에서 추가 탐구할 가치가 있음을 주장합니다.

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.