Repenser l'évaluation d'images en super-résolution

Rethinking Image Evaluation in Super-Resolution

March 17, 2025

Auteurs: Shaolin Su, Josep M. Rocafort, Danna Xue, David Serrano-Lozano, Lei Sun, Javier Vazquez-Corral

cs.AI

Résumé

Alors que les techniques récentes de super-résolution d'images (SR) ne cessent d'améliorer la qualité perceptuelle de leurs résultats, elles échouent souvent dans les évaluations quantitatives. Cette incohérence entraîne une méfiance croissante envers les métriques d'image existantes pour les évaluations de SR. Bien que l'évaluation des images dépende à la fois de la métrique et de la vérité terrain (GT) de référence, les chercheurs n'examinent généralement pas le rôle des GT, car elles sont généralement considérées comme des références « parfaites ». Cependant, en raison des données collectées dans les premières années et de l'ignorance du contrôle d'autres types de distorsions, nous soulignons que les GT dans les ensembles de données SR existants peuvent présenter une qualité relativement médiocre, ce qui conduit à des évaluations biaisées. Suite à cette observation, dans cet article, nous nous intéressons aux questions suivantes : Les images GT dans les ensembles de données SR existants sont-elles 100 % fiables pour l'évaluation des modèles ? Comment la qualité des GT affecte-t-elle cette évaluation ? Et comment réaliser des évaluations équitables s'il existe des GT imparfaites ? Pour répondre à ces questions, cet article présente deux contributions principales. Premièrement, en analysant systématiquement sept modèles SR de pointe sur trois ensembles de données SR du monde réel, nous montrons que les performances SR peuvent être systématiquement affectées par des GT de faible qualité, et que les modèles peuvent se comporter très différemment lorsque la qualité des GT est contrôlée. Deuxièmement, nous proposons une nouvelle métrique de qualité perceptuelle, l'indice de qualité relative (Relative Quality Index, RQI), qui mesure l'écart de qualité relatif entre des paires d'images, corrigeant ainsi les évaluations biaisées causées par des GT peu fiables. Notre modèle proposé atteint une bien meilleure cohérence avec les opinions humaines. Nous espérons que notre travail fournira des insights à la communauté SR sur la manière dont les futurs ensembles de données, modèles et métriques devraient être développés.

English

While recent advancing image super-resolution (SR) techniques are continually improving the perceptual quality of their outputs, they can usually fail in quantitative evaluations. This inconsistency leads to a growing distrust in existing image metrics for SR evaluations. Though image evaluation depends on both the metric and the reference ground truth (GT), researchers typically do not inspect the role of GTs, as they are generally accepted as `perfect' references. However, due to the data being collected in the early years and the ignorance of controlling other types of distortions, we point out that GTs in existing SR datasets can exhibit relatively poor quality, which leads to biased evaluations. Following this observation, in this paper, we are interested in the following questions: Are GT images in existing SR datasets 100% trustworthy for model evaluations? How does GT quality affect this evaluation? And how to make fair evaluations if there exist imperfect GTs? To answer these questions, this paper presents two main contributions. First, by systematically analyzing seven state-of-the-art SR models across three real-world SR datasets, we show that SR performances can be consistently affected across models by low-quality GTs, and models can perform quite differently when GT quality is controlled. Second, we propose a novel perceptual quality metric, Relative Quality Index (RQI), that measures the relative quality discrepancy of image pairs, thus issuing the biased evaluations caused by unreliable GTs. Our proposed model achieves significantly better consistency with human opinions. We expect our work to provide insights for the SR community on how future datasets, models, and metrics should be developed.