DeMeVa à LeWiDi-2025 : Modélisation des perspectives par apprentissage en contexte et apprentissage de la distribution des étiquettes

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

papers.authors: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

papers.abstract

Cet article présente les approches de l'équipe DeMeVa pour la troisième édition de la tâche partagée Learning with Disagreements (LeWiDi 2025 ; Leonardelli et al., 2025). Nous explorons deux axes : l'apprentissage en contexte (ICL) avec des modèles de langage de grande taille, où nous comparons différentes stratégies d'échantillonnage d'exemples ; et les méthodes d'apprentissage de distribution de labels (LDL) avec RoBERTa (Liu et al., 2019b), où nous évaluons plusieurs techniques de fine-tuning. Nos contributions sont doubles : (1) nous montrons que l'ICL peut prédire efficacement les annotations spécifiques aux annotateurs (annotations perspectivistes), et que l'agrégation de ces prédictions en labels flous offre des performances compétitives ; et (2) nous soutenons que les méthodes LDL sont prometteuses pour la prédiction de labels flous et méritent une exploration approfondie par la communauté perspectiviste.

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.