Чистые ночи впереди: на пути к восстановлению изображений в ночное время при различных погодных условиях

Clear Nights Ahead: Towards Multi-Weather Nighttime Image Restoration

May 22, 2025

Авторы: Yuetong Liu, Yunqiu Xu, Yang Wei, Xiuli Bi, Bin Xiao

cs.AI

Аннотация

Восстановление ночных изображений, подверженных воздействию множественных неблагоприятных погодных условий, является актуальной, но недостаточно изученной исследовательской задачей, поскольку в реальном мире различные погодные условия часто сосуществуют вместе с разнообразными световыми эффектами в ночное время. В данной статье впервые исследуется сложная задача восстановления ночных изображений при множественных погодных условиях, где различные типы погодных искажений переплетаются с эффектами бликов. Для поддержки исследований мы представляем набор данных AllWeatherNight, содержащий крупномасштабные высококачественные ночные изображения с разнообразными композиционными искажениями, синтезированные с использованием предложенного нами метода генерации искажений с учетом освещения. Кроме того, мы представляем ClearNight — унифицированную структуру для восстановления ночных изображений, которая эффективно устраняет сложные искажения за один проход. В частности, ClearNight извлекает двойные априорные данные на основе теории Ретинекса и явно направляет сеть на фокусировку в областях неравномерного освещения и внутренних текстурных содержимых соответственно, тем самым повышая эффективность восстановления в ночных сценах. Для лучшего представления общих и уникальных характеристик множественных погодных искажений мы вводим метод динамического взаимодействия специфичности и общности с учетом погодных условий, который идентифицирует погодные искажения и адаптивно выбирает оптимальные кандидатные блоки, связанные с конкретными типами погоды. Наш ClearNight демонстрирует передовые результаты как на синтетических, так и на реальных изображениях. Комплексные эксперименты с абляцией подтверждают необходимость набора данных AllWeatherNight, а также эффективность ClearNight. Страница проекта: https://henlyta.github.io/ClearNight/mainpage.html

English

Restoring nighttime images affected by multiple adverse weather conditions is a practical yet under-explored research problem, as multiple weather conditions often coexist in the real world alongside various lighting effects at night. This paper first explores the challenging multi-weather nighttime image restoration task, where various types of weather degradations are intertwined with flare effects. To support the research, we contribute the AllWeatherNight dataset, featuring large-scale high-quality nighttime images with diverse compositional degradations, synthesized using our introduced illumination-aware degradation generation. Moreover, we present ClearNight, a unified nighttime image restoration framework, which effectively removes complex degradations in one go. Specifically, ClearNight extracts Retinex-based dual priors and explicitly guides the network to focus on uneven illumination regions and intrinsic texture contents respectively, thereby enhancing restoration effectiveness in nighttime scenarios. In order to better represent the common and unique characters of multiple weather degradations, we introduce a weather-aware dynamic specific-commonality collaboration method, which identifies weather degradations and adaptively selects optimal candidate units associated with specific weather types. Our ClearNight achieves state-of-the-art performance on both synthetic and real-world images. Comprehensive ablation experiments validate the necessity of AllWeatherNight dataset as well as the effectiveness of ClearNight. Project page: https://henlyta.github.io/ClearNight/mainpage.html