La asimetría inesperada entre la optimización perceptiva y la evaluación
The Unanticipated Asymmetry Between Perceptual Optimization and Assessment
September 25, 2025
Autores: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu
cs.AI
Resumen
La optimización perceptual está principalmente impulsada por el objetivo de fidelidad, que
impone tanto la consistencia semántica como el realismo visual general, mientras que el
objetivo adversarial proporciona un refinamiento complementario al mejorar la nitidez
perceptual y los detalles de grano fino. A pesar de su papel central, la correlación
entre su efectividad como objetivos de optimización y su capacidad como métricas de
evaluación de calidad de imagen (IQA, por sus siglas en inglés) sigue siendo poco
explorada. En este trabajo, realizamos un análisis sistemático y revelamos una asimetría
inesperada entre la optimización perceptual y la evaluación: las métricas de fidelidad
que destacan en IQA no son necesariamente efectivas para la optimización perceptual,
y esta desalineación emerge de manera más clara bajo el entrenamiento adversarial.
Además, aunque los discriminadores suprimen eficazmente los artefactos durante la
optimización, sus representaciones aprendidas ofrecen beneficios limitados cuando se
reutilizan como inicializaciones de backbones para modelos de IQA. Más allá de esta
asimetría, nuestros hallazgos demuestran además que el diseño del discriminador juega
un papel decisivo en la configuración de la optimización, con arquitecturas a nivel de
parches y convolucionales que proporcionan una reconstrucción de detalles más fiel
que las alternativas convencionales o basadas en Transformers. Estas ideas avanzan
la comprensión del diseño de funciones de pérdida y su conexión con la transferibilidad
de IQA, allanando el camino para enfoques más fundamentados en la optimización
perceptual.
English
Perceptual optimization is primarily driven by the fidelity objective, which
enforces both semantic consistency and overall visual realism, while the
adversarial objective provides complementary refinement by enhancing perceptual
sharpness and fine-grained detail. Despite their central role, the correlation
between their effectiveness as optimization objectives and their capability as
image quality assessment (IQA) metrics remains underexplored. In this work, we
conduct a systematic analysis and reveal an unanticipated asymmetry between
perceptual optimization and assessment: fidelity metrics that excel in IQA are
not necessarily effective for perceptual optimization, with this misalignment
emerging more distinctly under adversarial training. In addition, while
discriminators effectively suppress artifacts during optimization, their
learned representations offer only limited benefits when reused as backbone
initializations for IQA models. Beyond this asymmetry, our findings further
demonstrate that discriminator design plays a decisive role in shaping
optimization, with patch-level and convolutional architectures providing more
faithful detail reconstruction than vanilla or Transformer-based alternatives.
These insights advance the understanding of loss function design and its
connection to IQA transferability, paving the way for more principled
approaches to perceptual optimization.