Over de wereldwijde fotometrische afstemming voor low-level vision

On the Global Photometric Alignment for Low-Level Vision

April 9, 2026

Auteurs: Mingjia Li, Tianle Du, Hainuo Wang, Qiming Hu, Xiaojie Guo

cs.AI

Samenvatting

Gesuperviseerde laag-niveau visuele modellen zijn afhankelijk van pixelgewijze verliezen ten opzichte van gepaarde referenties, maar gepaarde trainingssets vertonen per-paar fotometrische inconsistentie; verschillende beeldparen vereisen bijvoorbeeld verschillende globale helderheid, kleur- of witbalans-mapping. Deze inconsistentie ontstaat door taak-intrinsieke fotometrische overdracht (bijvoorbeeld contrastverbetering bij weinig licht) of onbedoelde acquisitieverschuivingen (bijvoorbeeld regenverwijdering), en veroorzaakt in beide gevallen een optimalisatiepathologie. Standaard reconstructieverliezen wijzen een onevenredig groot gradientenbudget toe aan conflicterende per-paar fotometrische doelen, wat ten koste gaat van inhoudsherstel. In dit artikel onderzoeken we dit probleem en bewijzen we dat, onder een kleinste-kwadraten-decompositie, de fotometrische en structurele componenten van de residu tussen voorspelling en doel orthogonaal zijn, en dat de ruimtelijk dichte fotometrische component de gradient-energie domineert. Gemotiveerd door deze analyse stellen we het Fotometrische Afstemmingsverlies (PAL) voor. Dit flexibele supervisiedoel discount storende fotometrische discrepantie via een gesloten-formule affiene kleurafstemming, terwijl het voor herstel relevante supervisie behoudt. Het vereist alleen covariantiestatistieken en een kleine matrixinversie met verwaarloosbare overhead. Over 6 taken, 16 datasets en 16 architecturen heen verbetert PAL consistent de metrieken en generalisatie. De implementatie staat in de appendix.

English

Supervised low-level vision models rely on pixel-wise losses against paired references, yet paired training sets exhibit per-pair photometric inconsistency, say, different image pairs demand different global brightness, color, or white-balance mappings. This inconsistency enters through task-intrinsic photometric transfer (e.g., low-light enhancement) or unintended acquisition shifts (e.g., de-raining), and in either case causes an optimization pathology. Standard reconstruction losses allocate disproportionate gradient budget to conflicting per-pair photometric targets, crowding out content restoration. In this paper, we investigate this issue and prove that, under least-squares decomposition, the photometric and structural components of the prediction-target residual are orthogonal, and that the spatially dense photometric component dominates the gradient energy. Motivated by this analysis, we propose Photometric Alignment Loss (PAL). This flexible supervision objective discounts nuisance photometric discrepancy via closed-form affine color alignment while preserving restoration-relevant supervision, requiring only covariance statistics and tiny matrix inversion with negligible overhead. Across 6 tasks, 16 datasets, and 16 architectures, PAL consistently improves metrics and generalization. The implementation is in the appendix.