단일 영상 안개 제거를 위한 U-Net 형태의 스파이킹 신경망

초록

이미지 디헤이징은 안개 낀 조건에서 이미지 선명도를 향상시키기 위해 필수적인 컴퓨터 비전의 핵심 과제입니다. 기존 방법들은 대기 산란 모델에 의존하는 반면, 최근 딥러닝 기술, 특히 합성곱 신경망(CNN)과 트랜스포머는 이미지 특징을 효과적으로 분석하여 성능을 향상시켰습니다. 그러나 CNN은 장거리 의존성을 처리하는 데 어려움이 있으며, 트랜스포머는 상당한 계산 자원을 요구합니다. 이러한 한계를 해결하기 위해 우리는 U-Net 유사 설계와 스파이킹 신경망(SNN)을 통합한 혁신적인 아키텍처인 DehazeSNN을 제안합니다. DehazeSNN은 다중 스케일 이미지 특징을 포착하면서 로컬 및 장거리 의존성을 효율적으로 관리합니다. 직교 리키-적분-발화 블록(OLIFBlock)의 도입은 채널 간 통신을 향상시켜 계산 부담을 줄이면서도 우수한 디헤이징 성능을 달성합니다. 광범위한 실험을 통해 DehazeSNN이 벤치마크 데이터셋에서 최신 방법들과 매우 경쟁력이 있으며, 더 작은 모델 크기와 더 적은 승적 연산으로 고품질의 안개 제거 이미지를 제공함을 입증했습니다. 제안된 디헤이징 방법은 https://github.com/HaoranLiu507/DehazeSNN에서 공개되어 있습니다.

English

Image dehazing is a critical challenge in computer vision, essential for enhancing image clarity in hazy conditions. Traditional methods often rely on atmospheric scattering models, while recent deep learning techniques, specifically Convolutional Neural Networks (CNNs) and Transformers, have improved performance by effectively analyzing image features. However, CNNs struggle with long-range dependencies, and Transformers demand significant computational resources. To address these limitations, we propose DehazeSNN, an innovative architecture that integrates a U-Net-like design with Spiking Neural Networks (SNNs). DehazeSNN captures multi-scale image features while efficiently managing local and long-range dependencies. The introduction of the Orthogonal Leaky-Integrate-and-Fire Block (OLIFBlock) enhances cross-channel communication, resulting in superior dehazing performance with reduced computational burden. Our extensive experiments show that DehazeSNN is highly competitive to state-of-the-art methods on benchmark datasets, delivering high-quality haze-free images with a smaller model size and less multiply-accumulate operations. The proposed dehazing method is publicly available at https://github.com/HaoranLiu507/DehazeSNN.

단일 영상 안개 제거를 위한 U-Net 형태의 스파이킹 신경망

U-Net-Like Spiking Neural Networks for Single Image Dehazing

초록

Support