DeMeVa bei LeWiDi-2025: Modellierung von Perspektiven mit In-Context-Learning und Label Distribution Learning

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

papers.authors: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

papers.abstract

Dieses Systempapier präsentiert die Ansätze des DeMeVa-Teams für die dritte Ausgabe der gemeinsamen Aufgabe „Learning with Disagreements“ (LeWiDi 2025; Leonardelli et al., 2025). Wir untersuchen zwei Richtungen: In-Context-Learning (ICL) mit großen Sprachmodellen, bei dem wir verschiedene Beispielsammlungsstrategien vergleichen; und Label Distribution Learning (LDL) Methoden mit RoBERTa (Liu et al., 2019b), bei denen wir mehrere Feinabstimmungsmethoden evaluieren. Unsere Beiträge sind zweifach: (1) Wir zeigen, dass ICL effektiv annotatorspezifische Annotationen (perspektivistische Annotationen) vorhersagen kann und dass die Aggregation dieser Vorhersagen zu Soft Labels eine wettbewerbsfähige Leistung erzielt; und (2) Wir argumentieren, dass LDL-Methoden vielversprechend für die Vorhersage von Soft Labels sind und eine weitere Erforschung durch die perspektivistische Gemeinschaft verdienen.

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.