DeMeVa на LeWiDi-2025: Моделирование перспектив с использованием обучения в контексте и обучения распределению меток

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

Авторы: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

Аннотация

В данной статье представлены подходы команды DeMeVa к третьему выпуску совместного задания Learning with Disagreements (LeWiDi 2025; Leonardelli et al., 2025). Мы исследуем два направления: обучение в контексте (in-context learning, ICL) с использованием больших языковых моделей, где сравниваем стратегии выборки примеров; и методы обучения распределения меток (label distribution learning, LDL) с использованием модели RoBERTa (Liu et al., 2019b), где оцениваем различные методы тонкой настройки. Наши вклады заключаются в следующем: (1) мы показываем, что ICL может эффективно предсказывать аннотации, специфичные для аннотаторов (перспективистские аннотации), и что агрегирование этих предсказаний в мягкие метки обеспечивает конкурентоспособные результаты; и (2) мы утверждаем, что методы LDL перспективны для предсказания мягких меток и заслуживают дальнейшего изучения сообществом перспективистов.

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.