A Assimetria Inesperada entre Otimização Perceptiva e Avaliação

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

Autores: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

Resumo

A otimização perceptual é impulsionada principalmente pelo objetivo de fidelidade, que impõe tanto consistência semântica quanto realismo visual geral, enquanto o objetivo adversarial fornece refinamento complementar ao aprimorar a nitidez perceptual e os detalhes de granularidade fina. Apesar de seu papel central, a correlação entre sua eficácia como objetivos de otimização e sua capacidade como métricas de avaliação de qualidade de imagem (IQA, na sigla em inglês) permanece pouco explorada. Neste trabalho, realizamos uma análise sistemática e revelamos uma assimetria inesperada entre otimização e avaliação perceptual: métricas de fidelidade que se destacam em IQA não são necessariamente eficazes para otimização perceptual, com esse desalinhamento surgindo de forma mais distinta sob treinamento adversarial. Além disso, embora discriminadores suprimam efetivamente artefatos durante a otimização, suas representações aprendidas oferecem benefícios limitados quando reutilizadas como inicializações de backbone para modelos de IQA. Além dessa assimetria, nossos achados demonstram ainda que o design do discriminador desempenha um papel decisivo na moldagem da otimização, com arquiteturas em nível de patch e convolucionais fornecendo reconstruções de detalhes mais fiéis do que alternativas convencionais ou baseadas em Transformers. Esses insights avançam a compreensão do design de funções de perda e sua conexão com a transferibilidade de IQA, abrindo caminho para abordagens mais fundamentadas em otimização perceptual.

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.