Ripensare la Valutazione delle Immagini nella Super-Risoluzione

Abstract

Mentre le recenti tecniche avanzate di super-risoluzione (SR) delle immagini continuano a migliorare la qualità percettiva dei loro output, spesso falliscono nelle valutazioni quantitative. Questa incoerenza porta a una crescente diffidenza verso le metriche esistenti per la valutazione della SR. Sebbene la valutazione delle immagini dipenda sia dalla metrica che dalla verità di riferimento (GT), i ricercatori tipicamente non esaminano il ruolo delle GT, poiché sono generalmente accettate come riferimenti "perfetti". Tuttavia, a causa dei dati raccolti negli anni passati e della mancata considerazione nel controllare altri tipi di distorsioni, sottolineiamo che le GT nei dataset esistenti di SR possono presentare una qualità relativamente scarsa, portando a valutazioni distorte. Seguendo questa osservazione, in questo articolo ci interessiamo alle seguenti domande: le immagini GT nei dataset esistenti di SR sono affidabili al 100% per la valutazione dei modelli? In che modo la qualità delle GT influisce su questa valutazione? E come effettuare valutazioni eque se esistono GT imperfette? Per rispondere a queste domande, questo articolo presenta due contributi principali. In primo luogo, analizzando sistematicamente sette modelli SR all'avanguardia su tre dataset SR del mondo reale, dimostriamo che le prestazioni SR possono essere influenzate in modo coerente dalle GT di bassa qualità, e che i modelli possono comportarsi in modo molto diverso quando la qualità delle GT è controllata. In secondo luogo, proponiamo una nuova metrica di qualità percettiva, l'Indice di Qualità Relativa (RQI), che misura la discrepanza di qualità relativa tra coppie di immagini, correggendo così le valutazioni distorte causate da GT inaffidabili. Il nostro modello proposto raggiunge una consistenza significativamente migliore con le opinioni umane. Ci aspettiamo che il nostro lavoro fornisca spunti alla comunità SR su come i futuri dataset, modelli e metriche dovrebbero essere sviluppati.

English

While recent advancing image super-resolution (SR) techniques are continually improving the perceptual quality of their outputs, they can usually fail in quantitative evaluations. This inconsistency leads to a growing distrust in existing image metrics for SR evaluations. Though image evaluation depends on both the metric and the reference ground truth (GT), researchers typically do not inspect the role of GTs, as they are generally accepted as `perfect' references. However, due to the data being collected in the early years and the ignorance of controlling other types of distortions, we point out that GTs in existing SR datasets can exhibit relatively poor quality, which leads to biased evaluations. Following this observation, in this paper, we are interested in the following questions: Are GT images in existing SR datasets 100% trustworthy for model evaluations? How does GT quality affect this evaluation? And how to make fair evaluations if there exist imperfect GTs? To answer these questions, this paper presents two main contributions. First, by systematically analyzing seven state-of-the-art SR models across three real-world SR datasets, we show that SR performances can be consistently affected across models by low-quality GTs, and models can perform quite differently when GT quality is controlled. Second, we propose a novel perceptual quality metric, Relative Quality Index (RQI), that measures the relative quality discrepancy of image pairs, thus issuing the biased evaluations caused by unreliable GTs. Our proposed model achieves significantly better consistency with human opinions. We expect our work to provide insights for the SR community on how future datasets, models, and metrics should be developed.

Ripensare la Valutazione delle Immagini nella Super-Risoluzione

Rethinking Image Evaluation in Super-Resolution

Abstract

Support