DeMeVa a LeWiDi-2025: Modellizzazione delle prospettive con apprendimento in contesto e apprendimento della distribuzione delle etichette
DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning
September 11, 2025
Autori: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk
cs.AI
Abstract
Questo articolo di sistema presenta gli approcci del team DeMeVa per la terza edizione della competizione condivisa Learning with Disagreements (LeWiDi 2025; Leonardelli et al., 2025). Esploriamo due direzioni: l'apprendimento in contesto (ICL) con modelli linguistici di grandi dimensioni, dove confrontiamo strategie di campionamento degli esempi; e metodi di apprendimento della distribuzione delle etichette (LDL) con RoBERTa (Liu et al., 2019b), dove valutiamo diverse tecniche di fine-tuning. I nostri contributi sono duplici: (1) dimostriamo che l'ICL può prevedere efficacemente annotazioni specifiche per annotatori (annotazioni prospettiviste), e che aggregare queste previsioni in etichette soft produce prestazioni competitive; e (2) sosteniamo che i metodi LDL sono promettenti per la previsione di etichette soft e meritano ulteriori esplorazioni da parte della comunità prospettivista.
English
This system paper presents the DeMeVa team's approaches to the third edition
of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et
al., 2025). We explore two directions: in-context learning (ICL) with large
language models, where we compare example sampling strategies; and label
distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we
evaluate several fine-tuning methods. Our contributions are twofold: (1) we
show that ICL can effectively predict annotator-specific annotations
(perspectivist annotations), and that aggregating these predictions into soft
labels yields competitive performance; and (2) we argue that LDL methods are
promising for soft label predictions and merit further exploration by the
perspectivist community.