U-Net様スパイキングニューラルネットワークを用いた単一画像のヘイズ除去

要旨

画像の脱霧はコンピュータビジョンにおける重要な課題であり、霧のかかった条件下での画像鮮明化に不可欠である。従来手法は大気散乱モデルに依存することが多いが、近年の深層学習技法、特に畳み込みニューラルネットワーク（CNN）とトランスフォーマーは、画像特徴を効果的に分析することで性能向上を実現している。しかしCNNは長距離依存関係の処理に課題を抱え、トランスフォーマーは多大な計算資源を必要とする。これらの制約を解決するため、U-Netに似た設計とスパイキングニューラルネットワーク（SNN）を統合した新しいアーキテクチャであるDehazeSNNを提案する。DehazeSNNはマルチスケールの画像特徴を捕捉しつつ、局所的および長距離の依存関係を効率的に管理する。直交Leaky-Integrate-and-Fireブロック（OLIFBlock）の導入によりチャネル間通信が強化され、計算負荷を低減しつつ優れた脱霧性能を実現する。大規模な実験により、DehazeSNNがベンチマークデータセットにおいて最新手法と競合する性能を示し、より小型のモデルサイズかつ少ない乗算累算演算で高品質な無霧画像を生成することを確認した。提案する脱霧手法はhttps://github.com/HaoranLiu507/DehazeSNNで公開している。

English

Image dehazing is a critical challenge in computer vision, essential for enhancing image clarity in hazy conditions. Traditional methods often rely on atmospheric scattering models, while recent deep learning techniques, specifically Convolutional Neural Networks (CNNs) and Transformers, have improved performance by effectively analyzing image features. However, CNNs struggle with long-range dependencies, and Transformers demand significant computational resources. To address these limitations, we propose DehazeSNN, an innovative architecture that integrates a U-Net-like design with Spiking Neural Networks (SNNs). DehazeSNN captures multi-scale image features while efficiently managing local and long-range dependencies. The introduction of the Orthogonal Leaky-Integrate-and-Fire Block (OLIFBlock) enhances cross-channel communication, resulting in superior dehazing performance with reduced computational burden. Our extensive experiments show that DehazeSNN is highly competitive to state-of-the-art methods on benchmark datasets, delivering high-quality haze-free images with a smaller model size and less multiply-accumulate operations. The proposed dehazing method is publicly available at https://github.com/HaoranLiu507/DehazeSNN.

U-Net様スパイキングニューラルネットワークを用いた単一画像のヘイズ除去

U-Net-Like Spiking Neural Networks for Single Image Dehazing

要旨

Support