Переосмысление оценки изображений в задаче супер-разрешения

Rethinking Image Evaluation in Super-Resolution

March 17, 2025

Авторы: Shaolin Su, Josep M. Rocafort, Danna Xue, David Serrano-Lozano, Lei Sun, Javier Vazquez-Corral

cs.AI

Аннотация

Хотя современные методы повышения разрешения изображений (super-resolution, SR) постоянно улучшают воспринимаемое качество своих результатов, они часто оказываются неубедительными в количественных оценках. Это несоответствие приводит к растущему недоверию к существующим метрикам оценки SR. Хотя оценка изображений зависит как от метрики, так и от эталонного изображения (ground truth, GT), исследователи обычно не рассматривают роль GT, поскольку они общепринято считаются «идеальными» эталонами. Однако из-за того, что данные собирались в ранние годы и отсутствовал контроль над другими видами искажений, мы отмечаем, что GT в существующих наборах данных SR могут иметь относительно низкое качество, что приводит к смещённым оценкам. Следуя этому наблюдению, в данной статье мы задаёмся следующими вопросами: Можно ли полностью доверять GT-изображениям в существующих наборах данных SR для оценки моделей? Как качество GT влияет на эту оценку? И как проводить справедливые оценки, если GT не идеальны? Чтобы ответить на эти вопросы, статья представляет два основных вклада. Во-первых, путём систематического анализа семи современных моделей SR на трёх наборах данных реального мира мы показываем, что качество GT может последовательно влиять на результаты SR для разных моделей, и модели могут демонстрировать существенно разные результаты, когда качество GT контролируется. Во-вторых, мы предлагаем новую метрику воспринимаемого качества, называемую Relative Quality Index (RQI), которая измеряет относительное расхождение качества пар изображений, тем самым устраняя смещённые оценки, вызванные ненадёжными GT. Наша модель демонстрирует значительно лучшее соответствие с мнениями людей. Мы ожидаем, что наша работа предоставит сообществу SR ценные инсайты о том, как следует разрабатывать будущие наборы данных, модели и метрики.

English

While recent advancing image super-resolution (SR) techniques are continually improving the perceptual quality of their outputs, they can usually fail in quantitative evaluations. This inconsistency leads to a growing distrust in existing image metrics for SR evaluations. Though image evaluation depends on both the metric and the reference ground truth (GT), researchers typically do not inspect the role of GTs, as they are generally accepted as `perfect' references. However, due to the data being collected in the early years and the ignorance of controlling other types of distortions, we point out that GTs in existing SR datasets can exhibit relatively poor quality, which leads to biased evaluations. Following this observation, in this paper, we are interested in the following questions: Are GT images in existing SR datasets 100% trustworthy for model evaluations? How does GT quality affect this evaluation? And how to make fair evaluations if there exist imperfect GTs? To answer these questions, this paper presents two main contributions. First, by systematically analyzing seven state-of-the-art SR models across three real-world SR datasets, we show that SR performances can be consistently affected across models by low-quality GTs, and models can perform quite differently when GT quality is controlled. Second, we propose a novel perceptual quality metric, Relative Quality Index (RQI), that measures the relative quality discrepancy of image pairs, thus issuing the biased evaluations caused by unreliable GTs. Our proposed model achieves significantly better consistency with human opinions. We expect our work to provide insights for the SR community on how future datasets, models, and metrics should be developed.