LLMは報告されているよりも優れていますか？ラベルエラーの検出とモデルパフォーマンスへの影響の軽減
Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance
October 24, 2024
著者: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart
cs.AI
要旨
自然言語処理（NLP）のベンチマークは、モデルの訓練と評価に標準化されたデータセットに依存しており、分野の進歩には不可欠です。従来、専門家による注釈が高品質なラベルを保証していましたが、現代のモデルに必要なより大きなデータセットの需要が増加するにつれ、専門家による注釈のコストはスケーリングされません。一方、クラウドソーシングはよりスケーラブルなソリューションを提供しますが、注釈の精度と一貫性が犠牲になることがよくあります。大規模言語モデル（LLMs）の最近の進歩は、既存のデータセット内のラベルエラーを検出するための注釈プロセスを向上させる新しい機会を提供しています。本研究では、LLMを判定者として使用する最近の手法を検討し、LLMのアンサンブルを活用して潜在的に誤ラベル付けされた例を特定します。さらに、異なるタスクとドメインをカバーするTRUEベンチマークからの4つのデータセットの事例研究を通じて、既存のデータセットのラベリング品質を実証的に分析し、専門家、クラウドソーシング、およびLLMベースの注釈を合意、ラベル品質、効率の観点から比較し、各注釈方法の強みと制限を示します。調査結果は、多数のラベルエラーが存在し、これらを修正すると報告されたモデルの性能が著しく向上することを示しています。これは、多くのLLMのいわゆる誤りが、本当のモデルの失敗ではなくラベルエラーに起因していることを示唆しています。さらに、誤ラベル付けされたデータの影響と、モデルの性能を向上させるためのトレーニングでそれらを緩和する方法について議論しました。
English
NLP benchmarks rely on standardized datasets for training and evaluating
models and are crucial for advancing the field. Traditionally, expert
annotations ensure high-quality labels; however, the cost of expert annotation
does not scale well with the growing demand for larger datasets required by
modern models. While crowd-sourcing provides a more scalable solution, it often
comes at the expense of annotation precision and consistency. Recent
advancements in large language models (LLMs) offer new opportunities to enhance
the annotation process, particularly for detecting label errors in existing
datasets. In this work, we consider the recent approach of LLM-as-a-judge,
leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through
a case study of four datasets from the TRUE benchmark, covering different tasks
and domains, we empirically analyze the labeling quality of existing datasets,
and compare expert, crowd-sourced, and our LLM-based annotations in terms of
agreement, label quality, and efficiency, demonstrating the strengths and
limitations of each annotation method. Our findings reveal a substantial number
of label errors, which, when corrected, induce a significant upward shift in
reported model performance. This suggests that many of the LLMs so-called
mistakes are due to label errors rather than genuine model failures.
Additionally, we discuss the implications of mislabeled data and propose
methods to mitigate them in training to improve model performance.