Klarheit in der Nacht: Auf dem Weg zur Multi-Wetter-Nachtbildrestaurierung

Clear Nights Ahead: Towards Multi-Weather Nighttime Image Restoration

May 22, 2025

Autoren: Yuetong Liu, Yunqiu Xu, Yang Wei, Xiuli Bi, Bin Xiao

cs.AI

Zusammenfassung

Die Wiederherstellung von Nachtbildern, die durch mehrere widrige Wetterbedingungen beeinträchtigt sind, stellt ein praktisches, jedoch bisher wenig erforschtes Problem dar, da in der realen Welt häufig mehrere Wetterbedingungen zusammen mit verschiedenen Lichteffekten in der Nacht auftreten. Diese Arbeit untersucht zunächst die anspruchsvolle Aufgabe der Wiederherstellung von Nachtbildern unter multiplen Wetterbedingungen, bei der verschiedene Arten von Wettereinflüssen mit Flare-Effekten verflochten sind. Zur Unterstützung der Forschung stellen wir das AllWeatherNight-Dataset bereit, das groß angelegte, hochwertige Nachtbilder mit vielfältigen kombinierten Beeinträchtigungen enthält, die mithilfe unserer eingeführten beleuchtungsbewussten Degradationsgenerierung synthetisiert wurden. Darüber hinaus präsentieren wir ClearNight, ein einheitliches Framework zur Wiederherstellung von Nachtbildern, das komplexe Beeinträchtigungen effektiv in einem Schritt entfernt. Insbesondere extrahiert ClearNight Retinex-basierte Dual-Priors und leitet das Netzwerk explizit an, sich auf Regionen mit ungleichmäßiger Beleuchtung und intrinsische Texturinhalte zu konzentrieren, wodurch die Wiederherstellungseffektivität in Nachtszenarien verbessert wird. Um die gemeinsamen und einzigartigen Merkmale multipler Wetterbeeinträchtigungen besser darzustellen, führen wir eine wetterbewusste dynamische Spezifisch-Gemeinsamkeits-Kollaborationsmethode ein, die Wetterbeeinträchtigungen identifiziert und optimal geeignete Kandidateneinheiten, die mit spezifischen Wettertypen verbunden sind, adaptiv auswählt. Unser ClearNight erzielt state-of-the-art Leistungen sowohl auf synthetischen als auch auf realen Bildern. Umfassende Ablationsexperimente bestätigen die Notwendigkeit des AllWeatherNight-Datasets sowie die Effektivität von ClearNight. Projektseite: https://henlyta.github.io/ClearNight/mainpage.html

English

Restoring nighttime images affected by multiple adverse weather conditions is a practical yet under-explored research problem, as multiple weather conditions often coexist in the real world alongside various lighting effects at night. This paper first explores the challenging multi-weather nighttime image restoration task, where various types of weather degradations are intertwined with flare effects. To support the research, we contribute the AllWeatherNight dataset, featuring large-scale high-quality nighttime images with diverse compositional degradations, synthesized using our introduced illumination-aware degradation generation. Moreover, we present ClearNight, a unified nighttime image restoration framework, which effectively removes complex degradations in one go. Specifically, ClearNight extracts Retinex-based dual priors and explicitly guides the network to focus on uneven illumination regions and intrinsic texture contents respectively, thereby enhancing restoration effectiveness in nighttime scenarios. In order to better represent the common and unique characters of multiple weather degradations, we introduce a weather-aware dynamic specific-commonality collaboration method, which identifies weather degradations and adaptively selects optimal candidate units associated with specific weather types. Our ClearNight achieves state-of-the-art performance on both synthetic and real-world images. Comprehensive ablation experiments validate the necessity of AllWeatherNight dataset as well as the effectiveness of ClearNight. Project page: https://henlyta.github.io/ClearNight/mainpage.html