知覚最適化と評価の間の予期せぬ非対称性

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

著者: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

要旨

知覚的最適化は主に忠実度目的関数によって駆動され、これは意味的一貫性と全体的な視覚的リアリズムを強制します。一方、敵対的目的関数は知覚的シャープネスと微細なディテールを強化することで補完的な洗練を提供します。これらの中心的な役割にもかかわらず、最適化目的としての有効性と画像品質評価（IQA）指標としての能力との相関関係は十分に検証されていません。本研究では、体系的な分析を行い、知覚的最適化と評価の間に予期せぬ非対称性が存在することを明らかにしました。IQAで優れた性能を示す忠実度指標が必ずしも知覚的最適化に有効とは限らず、この不一致は敵対的学習下でより顕著に現れます。さらに、識別器は最適化中にアーティファクトを効果的に抑制しますが、その学習済み表現をIQAモデルのバックボーン初期化として再利用した場合の利得は限定的です。この非対称性を超えて、我々の知見は識別器の設計が最適化を形作る上で決定的な役割を果たすことを示しており、パッチレベルや畳み込みアーキテクチャは、従来型やTransformerベースの代替案よりも忠実なディテール再構築を提供します。これらの洞察は、損失関数設計とIQA転移可能性の関連性に対する理解を深め、より原理に基づいた知覚的最適化アプローチへの道を開くものです。

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.