DeMeVa op LeWiDi-2025: Modellering van Perspectieven met In-Context Learning en Label Distribution Learning

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

Auteurs: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

Samenvatting

Dit systeempresentatie beschrijft de aanpakken van het DeMeVa-team voor de derde editie van de gedeelde taak Learning with Disagreements (LeWiDi 2025; Leonardelli et al., 2025). We onderzoeken twee richtingen: in-context learning (ICL) met grote taalmodellen, waarbij we voorbeeldselectiestrategieën vergelijken; en label distribution learning (LDL) methoden met RoBERTa (Liu et al., 2019b), waarbij we verschillende fine-tuning methoden evalueren. Onze bijdragen zijn tweeledig: (1) we tonen aan dat ICL effectief annotator-specifieke annotaties (perspectivistische annotaties) kan voorspellen, en dat het aggregeren van deze voorspellingen tot zachte labels competitieve prestaties oplevert; en (2) we beargumenteren dat LDL-methoden veelbelovend zijn voor het voorspellen van zachte labels en verdere verkenning door de perspectivistische gemeenschap verdienen.

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.