De onverwachte asymmetrie tussen perceptuele optimalisatie en beoordeling

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

Auteurs: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

Samenvatting

Perceptuele optimalisatie wordt voornamelijk aangedreven door het doel van trouwheid, dat zowel semantische consistentie als algemene visuele realisme afdwingt, terwijl het adversariële doel complementaire verfijning biedt door perceptuele scherpte en fijnmazige details te verbeteren. Ondanks hun centrale rol blijft de correlatie tussen hun effectiviteit als optimalisatiedoelen en hun vermogen als beeldkwaliteitsbeoordelingsmetrieken (IQA) onderbelicht. In dit werk voeren we een systematische analyse uit en onthullen een onverwachte asymmetrie tussen perceptuele optimalisatie en beoordeling: trouwheidsmetrieken die uitblinken in IQA zijn niet noodzakelijk effectief voor perceptuele optimalisatie, waarbij deze misalignment duidelijker naar voren komt onder adversariële training. Daarnaast, hoewel discriminatoren artefacten effectief onderdrukken tijdens optimalisatie, bieden hun geleerde representaties slechts beperkte voordelen wanneer ze worden hergebruikt als backbone-initialisaties voor IQA-modellen. Naast deze asymmetrie tonen onze bevindingen verder aan dat het ontwerp van de discriminator een beslissende rol speelt in het vormgeven van optimalisatie, waarbij patch-niveau en convolutionele architecturen een getrouwere detailreconstructie bieden dan standaard of Transformer-gebaseerde alternatieven. Deze inzichten bevorderen het begrip van het ontwerp van verliesfuncties en de verbinding met IQA-overdraagbaarheid, wat de weg effent voor meer principiële benaderingen van perceptuele optimalisatie.

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.