Die unerwartete Asymmetrie zwischen Wahrnehmungsoptimierung und Bewertung

The Unanticipated Asymmetry Between Perceptual Optimization and Assessment

September 25, 2025

papers.authors: Jiabei Zhang, Qi Wang, Siyu Wu, Du Chen, Tianhe Wu

cs.AI

papers.abstract

Die Wahrnehmungsoptimierung wird hauptsächlich durch das Treueziel vorangetrieben, das sowohl semantische Konsistenz als auch allgemeine visuelle Realität sicherstellt, während das adversarische Ziel eine komplementäre Verfeinerung bietet, indem es die wahrnehmungsbezogene Schärfe und feinkörnige Details verbessert. Trotz ihrer zentralen Rolle bleibt die Korrelation zwischen ihrer Wirksamkeit als Optimierungsziele und ihrer Fähigkeit als Metriken zur Bildqualitätsbewertung (IQA) weitgehend unerforscht. In dieser Arbeit führen wir eine systematische Analyse durch und decken eine unerwartete Asymmetrie zwischen Wahrnehmungsoptimierung und -bewertung auf: Treuemetriken, die in der IQA hervorragend abschneiden, sind nicht zwangsläufig effektiv für die Wahrnehmungsoptimierung, wobei diese Fehlausrichtung unter adversarischem Training deutlicher hervortritt. Zudem unterdrücken Diskriminatoren zwar effektiv Artefakte während der Optimierung, bieten ihre gelernten Repräsentationen jedoch nur begrenzte Vorteile, wenn sie als Backbone-Initialisierungen für IQA-Modelle wiederverwendet werden. Über diese Asymmetrie hinaus zeigen unsere Ergebnisse weiterhin, dass das Design des Diskriminators eine entscheidende Rolle bei der Gestaltung der Optimierung spielt, wobei Patch-Level- und Faltungsarchitekturen eine treuere Detailrekonstruktion bieten als herkömmliche oder Transformer-basierte Alternativen. Diese Erkenntnisse vertiefen das Verständnis des Loss-Function-Designs und dessen Verbindung zur Übertragbarkeit von IQA, was den Weg für prinzipiellere Ansätze zur Wahrnehmungsoptimierung ebnet.

English

Perceptual optimization is primarily driven by the fidelity objective, which enforces both semantic consistency and overall visual realism, while the adversarial objective provides complementary refinement by enhancing perceptual sharpness and fine-grained detail. Despite their central role, the correlation between their effectiveness as optimization objectives and their capability as image quality assessment (IQA) metrics remains underexplored. In this work, we conduct a systematic analysis and reveal an unanticipated asymmetry between perceptual optimization and assessment: fidelity metrics that excel in IQA are not necessarily effective for perceptual optimization, with this misalignment emerging more distinctly under adversarial training. In addition, while discriminators effectively suppress artifacts during optimization, their learned representations offer only limited benefits when reused as backbone initializations for IQA models. Beyond this asymmetry, our findings further demonstrate that discriminator design plays a decisive role in shaping optimization, with patch-level and convolutional architectures providing more faithful detail reconstruction than vanilla or Transformer-based alternatives. These insights advance the understanding of loss function design and its connection to IQA transferability, paving the way for more principled approaches to perceptual optimization.