Können große Sprachmodelle menschliche Annotatorenunterschiede erfassen?

Can Large Language Models Capture Human Annotator Disagreements?

June 24, 2025

Autoren: Jingwei Ni, Yu Fan, Vilém Zouhar, Donya Rooein, Alexander Hoyle, Mrinmaya Sachan, Markus Leippold, Dirk Hovy, Elliott Ash

cs.AI

Zusammenfassung

Menschliche Annotationsvariation (d. h. Annotationen, bei denen keine Einigkeit besteht) ist in der NLP (Natural Language Processing) weit verbreitet und spiegelt oft wichtige Informationen wider, wie z. B. die Subjektivität der Aufgabe und die Mehrdeutigkeit der Beispiele. Während Large Language Models (LLMs) zunehmend für die automatische Annotation eingesetzt werden, um den menschlichen Aufwand zu reduzieren, konzentriert sich ihre Bewertung häufig auf die Vorhersage der mehrheitlich abgestimmten „Ground-Truth“-Labels. Es ist jedoch noch unklar, ob diese Modelle auch informative menschliche Annotationsvariationen erfassen können. Unsere Arbeit schließt diese Lücke, indem wir die Fähigkeit von LLMs, Annotationen ohne Zugriff auf wiederholte menschliche Labels vorherzusagen, umfassend evaluieren. Unsere Ergebnisse zeigen, dass LLMs Schwierigkeiten haben, Uneinigkeiten zu modellieren, was bei Bewertungen, die auf Mehrheitslabels basieren, übersehen werden kann. Bemerkenswerterweise führt RLVR-ähnliches (Reinforcement Learning with Verifiable Rewards) Denken zwar allgemein zu einer Leistungssteigerung von LLMs, verschlechtert jedoch die Vorhersage von Uneinigkeiten. Unsere Ergebnisse unterstreichen die dringende Notwendigkeit, LLM-Annotatoren in der Modellierung von Uneinigkeiten zu evaluieren und zu verbessern. Code und Daten sind unter https://github.com/EdisonNi-hku/Disagreement_Prediction verfügbar.

English

Human annotation variation (i.e., annotation disagreements) is common in NLP and often reflects important information such as task subjectivity and sample ambiguity. While Large Language Models (LLMs) are increasingly used for automatic annotation to reduce human effort, their evaluation often focuses on predicting the majority-voted "ground truth" labels. It is still unclear, however, whether these models also capture informative human annotation variation. Our work addresses this gap by extensively evaluating LLMs' ability to predict annotation disagreements without access to repeated human labels. Our results show that LLMs struggle with modeling disagreements, which can be overlooked by majority label-based evaluations. Notably, while RLVR-style (Reinforcement learning with verifiable rewards) reasoning generally boosts LLM performance, it degrades performance in disagreement prediction. Our findings highlight the critical need for evaluating and improving LLM annotators in disagreement modeling. Code and data at https://github.com/EdisonNi-hku/Disagreement_Prediction.