Heroverweging van Beeldbeoordeling in Superresolutie

Rethinking Image Evaluation in Super-Resolution

March 17, 2025

Auteurs: Shaolin Su, Josep M. Rocafort, Danna Xue, David Serrano-Lozano, Lei Sun, Javier Vazquez-Corral

cs.AI

Samenvatting

Hoewel recente ontwikkelingen in beeld-superresolutie (SR) technieken voortdurend de perceptuele kwaliteit van hun uitvoer verbeteren, falen ze vaak in kwantitatieve evaluaties. Deze inconsistentie leidt tot een groeiend wantrouwen in bestaande beeldmetrieken voor SR-evaluaties. Hoewel beeldbeoordeling afhankelijk is van zowel de metriek als de referentie grondwaarheid (GT), onderzoeken onderzoekers doorgaans niet de rol van GT's, omdat deze algemeen worden geaccepteerd als 'perfecte' referenties. Echter, vanwege de gegevens die in de beginjaren zijn verzameld en het gebrek aan controle op andere soorten vervormingen, wijzen we erop dat GT's in bestaande SR-datasets relatief slechte kwaliteit kunnen vertonen, wat leidt tot bevooroordeelde evaluaties. Naar aanleiding van deze observatie zijn we in dit artikel geïnteresseerd in de volgende vragen: Zijn GT-beelden in bestaande SR-datasets 100% betrouwbaar voor model evaluaties? Hoe beïnvloedt GT-kwaliteit deze evaluatie? En hoe kunnen we eerlijke evaluaties maken als er onvolmaakte GT's bestaan? Om deze vragen te beantwoorden, presenteert dit artikel twee belangrijke bijdragen. Ten eerste tonen we, door systematisch zeven state-of-the-art SR-modellen te analyseren over drie real-world SR-datasets, aan dat SR-prestaties consistent kunnen worden beïnvloed door GT's van lage kwaliteit, en dat modellen heel anders kunnen presteren wanneer de GT-kwaliteit wordt gecontroleerd. Ten tweede stellen we een nieuwe perceptuele kwaliteitsmetriek voor, de Relative Quality Index (RQI), die de relatieve kwaliteitsdiscrepantie van beeldparen meet, waardoor de bevooroordeelde evaluaties veroorzaakt door onbetrouwbare GT's worden gecorrigeerd. Ons voorgestelde model bereikt een aanzienlijk betere consistentie met menselijke meningen. We verwachten dat ons werk inzichten biedt voor de SR-gemeenschap over hoe toekomstige datasets, modellen en metrieken moeten worden ontwikkeld.

English

While recent advancing image super-resolution (SR) techniques are continually improving the perceptual quality of their outputs, they can usually fail in quantitative evaluations. This inconsistency leads to a growing distrust in existing image metrics for SR evaluations. Though image evaluation depends on both the metric and the reference ground truth (GT), researchers typically do not inspect the role of GTs, as they are generally accepted as `perfect' references. However, due to the data being collected in the early years and the ignorance of controlling other types of distortions, we point out that GTs in existing SR datasets can exhibit relatively poor quality, which leads to biased evaluations. Following this observation, in this paper, we are interested in the following questions: Are GT images in existing SR datasets 100% trustworthy for model evaluations? How does GT quality affect this evaluation? And how to make fair evaluations if there exist imperfect GTs? To answer these questions, this paper presents two main contributions. First, by systematically analyzing seven state-of-the-art SR models across three real-world SR datasets, we show that SR performances can be consistently affected across models by low-quality GTs, and models can perform quite differently when GT quality is controlled. Second, we propose a novel perceptual quality metric, Relative Quality Index (RQI), that measures the relative quality discrepancy of image pairs, thus issuing the biased evaluations caused by unreliable GTs. Our proposed model achieves significantly better consistency with human opinions. We expect our work to provide insights for the SR community on how future datasets, models, and metrics should be developed.