Os LLMs são Melhores do que o Informado? Detectando Erros de Etiqueta e Mitigando seu Efeito no Desempenho do Modelo

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

October 24, 2024

Autores: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart

cs.AI

Resumo

Os benchmarks de PNL dependem de conjuntos de dados padronizados para treinar e avaliar modelos, sendo essenciais para o avanço do campo. Tradicionalmente, as anotações de especialistas garantem rótulos de alta qualidade; no entanto, o custo da anotação por especialistas não acompanha bem a crescente demanda por conjuntos de dados maiores necessários pelos modelos modernos. Enquanto a crowdsourcing oferece uma solução mais escalável, muitas vezes isso ocorre às custas da precisão e consistência das anotações. Avanços recentes em grandes modelos de linguagem (LLMs) oferecem novas oportunidades para aprimorar o processo de anotação, especialmente para detectar erros de rótulo em conjuntos de dados existentes. Neste trabalho, consideramos a abordagem recente de LLM-como-juiz, aproveitando um conjunto de LLMs para sinalizar exemplos potencialmente mal rotulados. Através de um estudo de caso de quatro conjuntos de dados do benchmark TRUE, abrangendo diferentes tarefas e domínios, analisamos empiricamente a qualidade da rotulagem dos conjuntos de dados existentes e comparamos as anotações de especialistas, crowdsourced e baseadas em LLM em termos de concordância, qualidade do rótulo e eficiência, demonstrando as forças e limitações de cada método de anotação. Nossas descobertas revelam um número substancial de erros de rótulo, que, quando corrigidos, causam um aumento significativo no desempenho do modelo relatado. Isso sugere que muitos dos chamados erros dos LLMs são devido a erros de rótulo em vez de falhas genuínas do modelo. Além disso, discutimos as implicações de dados mal rotulados e propomos métodos para mitigá-los no treinamento para melhorar o desempenho do modelo.

English

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.