¿Son los LLMs mejores de lo reportado? Detectando errores de etiquetado y mitigando su efecto en el rendimiento del modelo

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

October 24, 2024

Autores: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart

cs.AI

Resumen

Los puntos de referencia de PNL se basan en conjuntos de datos estandarizados para entrenar y evaluar modelos, siendo cruciales para avanzar en el campo. Tradicionalmente, las anotaciones de expertos garantizan etiquetas de alta calidad; sin embargo, el costo de la anotación experta no escala bien con la creciente demanda de conjuntos de datos más grandes requeridos por los modelos modernos. Si bien la externalización a través de la multitud proporciona una solución más escalable, a menudo se hace a expensas de la precisión y consistencia de las anotaciones. Los avances recientes en modelos de lenguaje grandes (LLMs) ofrecen nuevas oportunidades para mejorar el proceso de anotación, especialmente para detectar errores de etiquetado en conjuntos de datos existentes. En este trabajo, consideramos el enfoque reciente de LLM-como-juez, aprovechando un conjunto de LLMs para señalar ejemplos potencialmente mal etiquetados. A través de un estudio de caso de cuatro conjuntos de datos del benchmark TRUE, que abarcan diferentes tareas y dominios, analizamos empíricamente la calidad del etiquetado de conjuntos de datos existentes, y comparamos las anotaciones de expertos, externalizadas a través de la multitud y nuestras anotaciones basadas en LLM en términos de acuerdo, calidad de etiqueta y eficiencia, demostrando las fortalezas y limitaciones de cada método de anotación. Nuestros hallazgos revelan un número sustancial de errores de etiquetado, que, una vez corregidos, generan un aumento significativo en el rendimiento del modelo informado. Esto sugiere que muchos de los llamados errores de los LLM se deben a errores de etiquetado en lugar de fallas genuinas del modelo. Además, discutimos las implicaciones de los datos mal etiquetados y proponemos métodos para mitigarlos en el entrenamiento para mejorar el rendimiento del modelo.

English

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.