맑은 밤을 향하여: 다양한 기상 조건에서의 야간 이미지 복원

Clear Nights Ahead: Towards Multi-Weather Nighttime Image Restoration

May 22, 2025

저자: Yuetong Liu, Yunqiu Xu, Yang Wei, Xiuli Bi, Bin Xiao

cs.AI

초록

야간에 여러 가지 악천후 조건으로 영향을 받은 이미지를 복원하는 것은 실용적이면서도 충분히 탐구되지 않은 연구 문제입니다. 왜냐하면 실제 세계에서는 다양한 기상 조건이 야간의 다양한 조명 효과와 함께 공존하는 경우가 많기 때문입니다. 본 논문은 먼저 다양한 유형의 기상 열화와 플레어 효과가 얽혀 있는 복잡한 다중 기상 야간 이미지 복원 작업을 탐구합니다. 연구를 지원하기 위해, 우리는 대규모 고품질 야간 이미지로 구성된 AllWeatherNight 데이터셋을 제공하며, 이 데이터셋은 우리가 도입한 조명 인식 열화 생성 방법을 사용하여 다양한 조합의 열화를 합성한 것입니다. 또한, 우리는 ClearNight라는 통합 야간 이미지 복원 프레임워크를 제시하며, 이 프레임워크는 복잡한 열화를 한 번에 효과적으로 제거합니다. 구체적으로, ClearNight는 Retinex 기반의 이중 사전 정보를 추출하고 네트워크가 각각 불균일한 조명 영역과 본질적인 텍스처 내용에 집중하도록 명시적으로 안내함으로써 야간 시나리오에서의 복원 효과를 향상시킵니다. 여러 기상 열화의 공통적이고 독특한 특성을 더 잘 표현하기 위해, 우리는 기상 인식 동적 특이성-공통성 협업 방법을 도입하여 기상 열화를 식별하고 특정 기상 유형과 관련된 최적의 후보 단위를 적응적으로 선택합니다. 우리의 ClearNight는 합성 및 실제 이미지 모두에서 최첨단 성능을 달성합니다. 포괄적인 절제 실험을 통해 AllWeatherNight 데이터셋의 필요성과 ClearNight의 효과를 검증합니다. 프로젝트 페이지: https://henlyta.github.io/ClearNight/mainpage.html

English

Restoring nighttime images affected by multiple adverse weather conditions is a practical yet under-explored research problem, as multiple weather conditions often coexist in the real world alongside various lighting effects at night. This paper first explores the challenging multi-weather nighttime image restoration task, where various types of weather degradations are intertwined with flare effects. To support the research, we contribute the AllWeatherNight dataset, featuring large-scale high-quality nighttime images with diverse compositional degradations, synthesized using our introduced illumination-aware degradation generation. Moreover, we present ClearNight, a unified nighttime image restoration framework, which effectively removes complex degradations in one go. Specifically, ClearNight extracts Retinex-based dual priors and explicitly guides the network to focus on uneven illumination regions and intrinsic texture contents respectively, thereby enhancing restoration effectiveness in nighttime scenarios. In order to better represent the common and unique characters of multiple weather degradations, we introduce a weather-aware dynamic specific-commonality collaboration method, which identifies weather degradations and adaptively selects optimal candidate units associated with specific weather types. Our ClearNight achieves state-of-the-art performance on both synthetic and real-world images. Comprehensive ablation experiments validate the necessity of AllWeatherNight dataset as well as the effectiveness of ClearNight. Project page: https://henlyta.github.io/ClearNight/mainpage.html