L'asimmetria imprevista tra ottimizzazione percettiva e valutazione

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

Autori: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

Abstract

L'ottimizzazione percettiva è principalmente guidata dall'obiettivo di fedeltà, che impone sia la coerenza semantica che il realismo visivo complessivo, mentre l'obiettivo avversario fornisce un affinamento complementare migliorando la nitidezza percettiva e i dettagli fini. Nonostante il loro ruolo centrale, la correlazione tra la loro efficacia come obiettivi di ottimizzazione e la loro capacità come metriche di valutazione della qualità dell'immagine (IQA) rimane poco esplorata. In questo lavoro, conduciamo un'analisi sistematica e riveliamo un'asimmetria inaspettata tra ottimizzazione percettiva e valutazione: le metriche di fedeltà che eccellono nell'IQA non sono necessariamente efficaci per l'ottimizzazione percettiva, con questo disallineamento che emerge più distintamente durante l'addestramento avversario. Inoltre, sebbene i discriminatori sopprimano efficacemente gli artefatti durante l'ottimizzazione, le loro rappresentazioni apprese offrono solo benefici limitati quando riutilizzate come inizializzazioni del backbone per i modelli IQA. Oltre a questa asimmetria, i nostri risultati dimostrano ulteriormente che il design del discriminatore gioca un ruolo decisivo nel modellare l'ottimizzazione, con architetture a livello di patch e convoluzionali che forniscono una ricostruzione dei dettagli più fedele rispetto alle alternative vanilla o basate su Transformer. Queste intuizioni avanzano la comprensione del design delle funzioni di perdita e della sua connessione alla trasferibilità dell'IQA, aprendo la strada a approcci più principiati all'ottimizzazione percettiva.

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.