Über die globale photometrische Ausrichtung für Low-Level Vision

On the Global Photometric Alignment for Low-Level Vision

April 9, 2026

Autoren: Mingjia Li, Tianle Du, Hainuo Wang, Qiming Hu, Xiaojie Guo

cs.AI

Zusammenfassung

Überwachte Modelle für Low-Level-Vision basieren auf pixelweisen Verlusten gegenüber gepaarten Referenzen, doch gepaarte Trainingsdatensätze weisen paarweise photometrische Inkonsistenzen auf; beispielsweise erfordern verschiedene Bildpaare unterschiedliche globale Helligkeits-, Farb- oder Weißabgleichsabbildungen. Diese Inkonsistenz entsteht entweder durch aufgabenintrinsische photometrische Übertragung (z.B. Low-Light-Verbesserung) oder unbeabsichtigte Aufnahmeschwankungen (z.B. Entfernung von Regenartefakten) und verursacht in beiden Fällen eine Optimierungspathologie. Standard-Rekonstruktionsverluste weisen dem konfligierenden photometrischen Ziel pro Paar unverhältnismäßig viel Gradientenbudget zu und verdrängen die Inhaltswiederherstellung. In diesem Beitrag untersuchen wir dieses Problem und beweisen, dass bei einer Kleinste-Quadrate-Zerlegung die photometrischen und strukturellen Komponenten der Residuen zwischen Vorhersage und Ziel orthogonal sind und die räumlich dichte photometrische Komponente die Gradientenenergie dominiert. Motiviert durch diese Analyse schlagen wir den Photometric Alignment Loss (PAL) vor. Dieses flexible Überwachungsziel reduziert störende photometrische Diskrepanzen durch eine geschlossen lösbare affine Farbanpassung, bewahrt dabei aber die wiederherstellungsrelevante Überwachung. Es erfordert lediglich Kovarianzstatistiken und eine kleine Matrixinversion mit vernachlässigbarem Overhead. In 6 Aufgaben, 16 Datensätzen und 16 Architekturen verbessert PAL konsistent Metriken und Generalisierung. Die Implementierung befindet sich im Anhang.

English

Supervised low-level vision models rely on pixel-wise losses against paired references, yet paired training sets exhibit per-pair photometric inconsistency, say, different image pairs demand different global brightness, color, or white-balance mappings. This inconsistency enters through task-intrinsic photometric transfer (e.g., low-light enhancement) or unintended acquisition shifts (e.g., de-raining), and in either case causes an optimization pathology. Standard reconstruction losses allocate disproportionate gradient budget to conflicting per-pair photometric targets, crowding out content restoration. In this paper, we investigate this issue and prove that, under least-squares decomposition, the photometric and structural components of the prediction-target residual are orthogonal, and that the spatially dense photometric component dominates the gradient energy. Motivated by this analysis, we propose Photometric Alignment Loss (PAL). This flexible supervision objective discounts nuisance photometric discrepancy via closed-form affine color alignment while preserving restoration-relevant supervision, requiring only covariance statistics and tiny matrix inversion with negligible overhead. Across 6 tasks, 16 datasets, and 16 architectures, PAL consistently improves metrics and generalization. The implementation is in the appendix.