DeMeVa en LeWiDi-2025: Modelado de Perspectivas con Aprendizaje en Contexto y Aprendizaje de Distribución de Etiquetas

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

Autores: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

Resumen

Este artículo de sistema presenta los enfoques del equipo DeMeVa para la tercera edición de la tarea compartida Learning with Disagreements (LeWiDi 2025; Leonardelli et al., 2025). Exploramos dos direcciones: el aprendizaje en contexto (ICL, por sus siglas en inglés) con modelos de lenguaje de gran escala, donde comparamos estrategias de muestreo de ejemplos; y métodos de aprendizaje de distribución de etiquetas (LDL, por sus siglas en inglés) con RoBERTa (Liu et al., 2019b), donde evaluamos varios métodos de ajuste fino. Nuestras contribuciones son dobles: (1) demostramos que el ICL puede predecir efectivamente anotaciones específicas de anotadores (anotaciones perspectivistas), y que la agregación de estas predicciones en etiquetas suaves ofrece un rendimiento competitivo; y (2) argumentamos que los métodos LDL son prometedores para la predicción de etiquetas suaves y merecen una mayor exploración por parte de la comunidad perspectivista.

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.