DeMeVa at LeWiDi-2025: インコンテキスト学習とラベル分布学習を用いた視点のモデリング

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

September 11, 2025

著者: Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

cs.AI

要旨

本システム論文では、DeMeVaチームが第3回Learning with Disagreements共有タスク（LeWiDi 2025; Leonardelli et al., 2025）に対して採用したアプローチを紹介する。我々は2つの方向性を探求した：大規模言語モデルを用いたインコンテクスト学習（ICL）では、例文サンプリング戦略を比較し；RoBERTa（Liu et al., 2019b）を用いたラベル分布学習（LDL）手法では、いくつかのファインチューニング方法を評価した。我々の貢献は2つある：(1) ICLがアノテータ固有の注釈（パースペクティビスト注釈）を効果的に予測可能であり、これらの予測をソフトラベルに集約することで競争力のある性能を発揮することを示した；(2) LDL手法がソフトラベル予測において有望であり、パースペクティビストコミュニティによるさらなる探求に値することを主張した。

English

This system paper presents the DeMeVa team's approaches to the third edition of the Learning with Disagreements shared task (LeWiDi 2025; Leonardelli et al., 2025). We explore two directions: in-context learning (ICL) with large language models, where we compare example sampling strategies; and label distribution learning (LDL) methods with RoBERTa (Liu et al., 2019b), where we evaluate several fine-tuning methods. Our contributions are twofold: (1) we show that ICL can effectively predict annotator-specific annotations (perspectivist annotations), and that aggregating these predictions into soft labels yields competitive performance; and (2) we argue that LDL methods are promising for soft label predictions and merit further exploration by the perspectivist community.