Превосходят ли LLM лучше, чем сообщается? Обнаружение ошибок меток и смягчение их влияния на производительность модели.

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

October 24, 2024

Авторы: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart

cs.AI

Аннотация

Бенчмарки в области обработки естественного языка (Natural Language Processing, NLP) зависят от стандартизированных наборов данных для обучения и оценки моделей, что является ключевым для развития этой области. Традиционно высокое качество меток обеспечивается экспертной разметкой; однако стоимость экспертной разметки не масштабируется должным образом с увеличивающимся спросом на более крупные наборы данных, необходимые для современных моделей. В то время как краудсорсинг предоставляет более масштабируемое решение, это часто происходит за счет точности и последовательности разметки. Недавние достижения в области больших языковых моделей (Large Language Models, LLMs) открывают новые возможности для улучшения процесса разметки, особенно для обнаружения ошибок в метках в существующих наборах данных. В данной работе мы рассматриваем недавний подход LLM-как-судья, используя ансамбль LLM для выявления потенциально неправильно размеченных примеров. Через кейс-стади четырех наборов данных из бенчмарка TRUE, охватывающих различные задачи и области, мы эмпирически анализируем качество разметки существующих наборов данных и сравниваем экспертную, краудсорсинговую и нашу разметку на основе LLM по критериям согласованности, качества меток и эффективности, демонстрируя преимущества и ограничения каждого метода разметки. Наши результаты показывают значительное количество ошибок в метках, которые, после исправления, приводят к значительному увеличению отчетной производительности модели. Это указывает на то, что многие так называемые ошибки LLM обусловлены ошибками в метках, а не реальными ошибками модели. Кроме того, мы обсуждаем последствия неправильно размеченных данных и предлагаем методы их уменьшения в процессе обучения для улучшения производительности модели.

English

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.