大規模言語モデルは人間のアノテーター間の不一致を捉えることができるか？

要旨

人間のアノテーションにおけるばらつき（すなわち、アノテーションの不一致）は、自然言語処理（NLP）において一般的であり、タスクの主観性やサンプルの曖昧性といった重要な情報を反映することが多い。大規模言語モデル（LLMs）は、人間の労力を削減するために自動アノテーションにますます利用されているが、その評価はしばしば多数決による「グラウンドトゥルース」ラベルの予測に焦点を当てている。しかし、これらのモデルが情報量の多い人間のアノテーションのばらつきも捉えているかどうかはまだ明らかではない。本研究は、繰り返しの人間のラベルにアクセスせずに、LLMsがアノテーションの不一致を予測する能力を広範に評価することで、このギャップを埋めるものである。結果は、LLMsが不一致のモデリングに苦戦しており、これは多数ラベルに基づく評価では見落とされがちであることを示している。特に、RLVRスタイル（検証可能な報酬を用いた強化学習）の推論は一般的にLLMの性能を向上させるが、不一致予測では性能を低下させる。我々の知見は、不一致モデリングにおけるLLMアノテーターの評価と改善の重要性を強調している。コードとデータはhttps://github.com/EdisonNi-hku/Disagreement_Predictionにて公開されている。

English

Human annotation variation (i.e., annotation disagreements) is common in NLP and often reflects important information such as task subjectivity and sample ambiguity. While Large Language Models (LLMs) are increasingly used for automatic annotation to reduce human effort, their evaluation often focuses on predicting the majority-voted "ground truth" labels. It is still unclear, however, whether these models also capture informative human annotation variation. Our work addresses this gap by extensively evaluating LLMs' ability to predict annotation disagreements without access to repeated human labels. Our results show that LLMs struggle with modeling disagreements, which can be overlooked by majority label-based evaluations. Notably, while RLVR-style (Reinforcement learning with verifiable rewards) reasoning generally boosts LLM performance, it degrades performance in disagreement prediction. Our findings highlight the critical need for evaluating and improving LLM annotators in disagreement modeling. Code and data at https://github.com/EdisonNi-hku/Disagreement_Prediction.

大規模言語モデルは人間のアノテーター間の不一致を捉えることができるか？

Can Large Language Models Capture Human Annotator Disagreements?

要旨

Support