인지 최적화와 평가 간의 예상치 못한 비대칭성

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

저자: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

초록

지각 최적화는 주로 충실도 목표에 의해 주도되며, 이는 의미론적 일관성과 전반적인 시각적 현실감을 강제합니다. 반면, 적대적 목표는 지각적 선명도와 미세한 디테일을 향상시켜 보완적인 정제를 제공합니다. 그들의 중심적인 역할에도 불구하고, 최적화 목표로서의 효과성과 이미지 품질 평가(IQA) 지표로서의 능력 간의 상관관계는 아직 충분히 탐구되지 않았습니다. 본 연구에서는 체계적인 분석을 수행하고 지각 최적화와 평가 간의 예상치 못한 비대칭성을 밝혀냈습니다: IQA에서 우수한 충실도 지표가 반드시 지각 최적화에 효과적인 것은 아니며, 이러한 불일치는 적대적 학습 하에서 더욱 뚜렷하게 나타납니다. 또한, 판별자가 최적화 과정에서 아티팩트를 효과적으로 억제하지만, 그들이 학습한 표현은 IQA 모델의 백본 초기화로 재사용될 때 제한된 이점만 제공합니다. 이러한 비대칭성 외에도, 우리의 연구 결과는 판별자 설계가 최적화를 형성하는 데 결정적인 역할을 하며, 패치 수준 및 컨볼루션 아키텍처가 일반적인 또는 트랜스포머 기반 대안보다 더 정확한 디테일 재구성을 제공한다는 것을 추가로 입증합니다. 이러한 통찰은 손실 함수 설계와 IQA 전이 가능성 간의 연결에 대한 이해를 진전시키고, 더 체계적인 지각 최적화 접근법을 위한 길을 열어줍니다.

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.