Replanteamiento de la Evaluación de Imágenes en Super-Resolución

Rethinking Image Evaluation in Super-Resolution

March 17, 2025

Autores: Shaolin Su, Josep M. Rocafort, Danna Xue, David Serrano-Lozano, Lei Sun, Javier Vazquez-Corral

cs.AI

Resumen

Si bien las técnicas recientes de super-resolución de imágenes (SR) están mejorando continuamente la calidad perceptual de sus resultados, suelen fallar en las evaluaciones cuantitativas. Esta inconsistencia genera una creciente desconfianza en las métricas de imagen existentes para evaluaciones de SR. Aunque la evaluación de imágenes depende tanto de la métrica como de la verdad de referencia (GT, por sus siglas en inglés), los investigadores generalmente no examinan el papel de las GT, ya que se aceptan comúnmente como referencias "perfectas". Sin embargo, debido a que los datos se recopilaron en los primeros años y a la falta de control sobre otros tipos de distorsiones, señalamos que las GT en los conjuntos de datos de SR existentes pueden exhibir una calidad relativamente pobre, lo que lleva a evaluaciones sesgadas. Siguiendo esta observación, en este artículo nos interesamos en las siguientes preguntas: ¿Son las imágenes GT en los conjuntos de datos de SR existentes 100% confiables para la evaluación de modelos? ¿Cómo afecta la calidad de la GT a esta evaluación? Y, ¿cómo realizar evaluaciones justas si existen GT imperfectas? Para responder a estas preguntas, este artículo presenta dos contribuciones principales. Primero, al analizar sistemáticamente siete modelos de SR de última generación en tres conjuntos de datos de SR del mundo real, mostramos que el rendimiento de SR puede verse afectado consistentemente en todos los modelos por GT de baja calidad, y que los modelos pueden comportarse de manera bastante diferente cuando se controla la calidad de la GT. Segundo, proponemos una nueva métrica de calidad perceptual, el Índice de Calidad Relativa (RQI, por sus siglas en inglés), que mide la discrepancia de calidad relativa entre pares de imágenes, abordando así las evaluaciones sesgadas causadas por GT poco confiables. Nuestro modelo propuesto logra una consistencia significativamente mejor con las opiniones humanas. Esperamos que nuestro trabajo brinde ideas a la comunidad de SR sobre cómo deberían desarrollarse futuros conjuntos de datos, modelos y métricas.

English

While recent advancing image super-resolution (SR) techniques are continually improving the perceptual quality of their outputs, they can usually fail in quantitative evaluations. This inconsistency leads to a growing distrust in existing image metrics for SR evaluations. Though image evaluation depends on both the metric and the reference ground truth (GT), researchers typically do not inspect the role of GTs, as they are generally accepted as `perfect' references. However, due to the data being collected in the early years and the ignorance of controlling other types of distortions, we point out that GTs in existing SR datasets can exhibit relatively poor quality, which leads to biased evaluations. Following this observation, in this paper, we are interested in the following questions: Are GT images in existing SR datasets 100% trustworthy for model evaluations? How does GT quality affect this evaluation? And how to make fair evaluations if there exist imperfect GTs? To answer these questions, this paper presents two main contributions. First, by systematically analyzing seven state-of-the-art SR models across three real-world SR datasets, we show that SR performances can be consistently affected across models by low-quality GTs, and models can perform quite differently when GT quality is controlled. Second, we propose a novel perceptual quality metric, Relative Quality Index (RQI), that measures the relative quality discrepancy of image pairs, thus issuing the biased evaluations caused by unreliable GTs. Our proposed model achieves significantly better consistency with human opinions. We expect our work to provide insights for the SR community on how future datasets, models, and metrics should be developed.