晴れた夜を目指して：多様な天候下における夜間画像復元の探求

Clear Nights Ahead: Towards Multi-Weather Nighttime Image Restoration

May 22, 2025

著者: Yuetong Liu, Yunqiu Xu, Yang Wei, Xiuli Bi, Bin Xiao

cs.AI

要旨

複数の悪天候条件に影響を受けた夜間画像の復元は、実用的でありながら十分に研究されていない課題です。なぜなら、現実世界では複数の気象条件が夜間の様々な照明効果と共存することが多いからです。本論文ではまず、フレア効果と絡み合った多様な気象劣化を含む、困難なマルチウェザー夜間画像復元タスクを探求します。研究を支援するため、我々はAllWeatherNightデータセットを提供します。これは、我々が導入した照明を考慮した劣化生成を用いて合成された、多様な複合劣化を持つ大規模で高品質な夜間画像を特徴としています。さらに、複雑な劣化を一気に除去する統合的な夜間画像復元フレームワークであるClearNightを提案します。具体的には、ClearNightはRetinex理論に基づく二重の事前情報を抽出し、ネットワークを不均一な照明領域と本質的なテクスチャ内容にそれぞれ焦点を当てるよう明示的に誘導することで、夜間シナリオにおける復元効果を向上させます。複数の気象劣化の共通性と独自性をより良く表現するため、我々は気象を考慮した動的固有性-共通性協調手法を導入します。これは気象劣化を識別し、特定の気象タイプに関連する最適な候補ユニットを適応的に選択します。我々のClearNightは、合成画像と実世界画像の両方において最先端の性能を達成しています。包括的なアブレーション実験により、AllWeatherNightデータセットの必要性とClearNightの有効性が検証されました。プロジェクトページ: https://henlyta.github.io/ClearNight/mainpage.html

English

Restoring nighttime images affected by multiple adverse weather conditions is a practical yet under-explored research problem, as multiple weather conditions often coexist in the real world alongside various lighting effects at night. This paper first explores the challenging multi-weather nighttime image restoration task, where various types of weather degradations are intertwined with flare effects. To support the research, we contribute the AllWeatherNight dataset, featuring large-scale high-quality nighttime images with diverse compositional degradations, synthesized using our introduced illumination-aware degradation generation. Moreover, we present ClearNight, a unified nighttime image restoration framework, which effectively removes complex degradations in one go. Specifically, ClearNight extracts Retinex-based dual priors and explicitly guides the network to focus on uneven illumination regions and intrinsic texture contents respectively, thereby enhancing restoration effectiveness in nighttime scenarios. In order to better represent the common and unique characters of multiple weather degradations, we introduce a weather-aware dynamic specific-commonality collaboration method, which identifies weather degradations and adaptively selects optimal candidate units associated with specific weather types. Our ClearNight achieves state-of-the-art performance on both synthetic and real-world images. Comprehensive ablation experiments validate the necessity of AllWeatherNight dataset as well as the effectiveness of ClearNight. Project page: https://henlyta.github.io/ClearNight/mainpage.html