DeMeVa no LeWiDi-2025: Modelando Perspectivas com Aprendizado em Contexto e Aprendizado de Distribuição de Rótulos

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

Autores: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

Resumo

Este artigo de sistema apresenta as abordagens da equipe DeMeVa para a terceira edição da tarefa compartilhada Learning with Disagreements (LeWiDi 2025; Leonardelli et al., 2025). Exploramos duas direções: aprendizado em contexto (ICL) com grandes modelos de linguagem, onde comparamos estratégias de amostragem de exemplos; e métodos de aprendizado de distribuição de rótulos (LDL) com RoBERTa (Liu et al., 2019b), onde avaliamos várias técnicas de ajuste fino. Nossas contribuições são duplas: (1) demonstramos que o ICL pode prever efetivamente anotações específicas de anotadores (anotações perspectivistas), e que agregar essas previsões em rótulos suaves resulta em desempenho competitivo; e (2) argumentamos que os métodos LDL são promissores para previsões de rótulos suaves e merecem maior exploração pela comunidade perspectivista.

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.