Неожиданная асимметрия между оптимизацией восприятия и оценкой

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

Авторы: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

Аннотация

Перцептивная оптимизация в первую очередь определяется целевой функцией точности, которая обеспечивает как семантическую согласованность, так и общий визуальный реализм, в то время как состязательная целевая функция дополняет процесс, улучшая резкость восприятия и детализацию. Несмотря на их ключевую роль, взаимосвязь между их эффективностью как целей оптимизации и их способностью служить метриками оценки качества изображений (IQA) остается недостаточно изученной. В данной работе мы проводим систематический анализ и выявляем неожиданную асимметрию между перцептивной оптимизацией и оценкой: метрики точности, которые превосходно работают в IQA, не обязательно эффективны для перцептивной оптимизации, причем это несоответствие становится более выраженным при использовании состязательного обучения. Кроме того, хотя дискриминаторы эффективно подавляют артефакты в процессе оптимизации, их обученные представления предлагают лишь ограниченные преимущества при повторном использовании в качестве инициализации базовых моделей для IQA. Помимо этой асимметрии, наши результаты также показывают, что конструкция дискриминатора играет решающую роль в формировании оптимизации, причем архитектуры на основе патчей и сверток обеспечивают более точное восстановление деталей по сравнению с классическими или трансформерными альтернативами. Эти выводы углубляют понимание проектирования функций потерь и их связи с переносимостью IQA, прокладывая путь к более принципиальным подходам к перцептивной оптимизации.

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.