RePOPE: Impatto degli errori di annotazione sul benchmark POPE

RePOPE: Impact of Annotation Errors on the POPE Benchmark

April 22, 2025

Autori: Yannic Neuhaus, Matthias Hein

cs.AI

Abstract

Poiché l'annotazione dei dati è costosa, i dataset di riferimento spesso incorporano etichette provenienti da dataset di immagini consolidati. In questo lavoro, valutiamo l'impatto degli errori di etichettatura in MSCOCO sul benchmark POPE, ampiamente utilizzato per l'allucinazione di oggetti. Riannotiamo le immagini del benchmark e identifichiamo uno squilibrio negli errori di annotazione tra diversi sottoinsiemi. Valutando più modelli sulle etichette riviste, che denominiamo RePOPE, osserviamo cambiamenti significativi nelle classifiche dei modelli, evidenziando l'impatto della qualità delle etichette. Il codice e i dati sono disponibili all'indirizzo https://github.com/YanNeu/RePOPE.

English

Since data annotation is costly, benchmark datasets often incorporate labels from established image datasets. In this work, we assess the impact of label errors in MSCOCO on the frequently used object hallucination benchmark POPE. We re-annotate the benchmark images and identify an imbalance in annotation errors across different subsets. Evaluating multiple models on the revised labels, which we denote as RePOPE, we observe notable shifts in model rankings, highlighting the impact of label quality. Code and data are available at https://github.com/YanNeu/RePOPE .