L'asymétrie imprévue entre l'optimisation perceptuelle et l'évaluation

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

papers.authors: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

papers.abstract

L'optimisation perceptuelle est principalement guidée par l'objectif de fidélité, qui impose à la fois la cohérence sémantique et le réalisme visuel global, tandis que l'objectif adversarial apporte un raffinement complémentaire en améliorant la netteté perceptuelle et les détails fins. Malgré leur rôle central, la corrélation entre leur efficacité en tant qu'objectifs d'optimisation et leur capacité en tant que métriques d'évaluation de la qualité d'image (IQA) reste peu explorée. Dans ce travail, nous menons une analyse systématique et révélons une asymétrie inattendue entre l'optimisation perceptuelle et l'évaluation : les métriques de fidélité qui excellent en IQA ne sont pas nécessairement efficaces pour l'optimisation perceptuelle, ce désalignement apparaissant plus distinctement dans le cadre de l'entraînement adversarial. De plus, bien que les discriminateurs suppriment efficacement les artefacts pendant l'optimisation, leurs représentations apprises n'offrent que des avantages limités lorsqu'elles sont réutilisées comme initialisations de base pour les modèles IQA. Au-delà de cette asymétrie, nos résultats démontrent également que la conception du discriminateur joue un rôle décisif dans la formation de l'optimisation, les architectures par patchs et convolutives permettant une reconstruction des détails plus fidèle que les alternatives classiques ou basées sur les Transformers. Ces avancées approfondissent la compréhension de la conception des fonctions de perte et de leur lien avec la transférabilité en IQA, ouvrant la voie à des approches plus rigoureuses de l'optimisation perceptuelle.

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.