CogSENet: ブラー条件付きセマンティックルーティングと明示的な周波数融合を用いたブラインド画像デブラリング

要旨

ブラインド画像復元は、複雑で未知の劣化から忠実度の高い細部と一貫性のある構造を復元することを要求する。既存のブラインド画像復元手法は、実世界における空間的に変動する劣化への対応が難しく、有効なテクスチャとアーティファクトを確実に区別するために必要な意味認識（セマンティック・アウェアネス）を欠いている。このギャップを埋めるため、我々は鷲の視覚系に着想を得た動的かつセマンティックに整列された再構成フレームワークCogSENetを提案する。鷲の能動的なサッケード走査を模倣し、微分可能なルーティングによるセマンティック認識型トークン再グループ化を備えたセマンティック駆動状態空間モジュール（SDSSM）を考案し、プロンプト条件付き長距離依存関係モデリングを可能にする。テクスチャと構造の物理的に解釈可能な復元を実現するため、BiFreqFusionBlock（BFFB）は、ウェーブレット変換を用いて特徴を高周波と低周波に分解することで、鷲の網膜の機能分化を反映する。最後に、ぼけ画像から連続的ブラーフィールド（CBF）を推定し、CLIPのセマンティック事前情報と融合して最深層の潜在特徴を変調することで、焦点適応を模倣し、空間的に不均一なぼけ下での適応的復元を可能にする。広範な実験により、CogSENetは最先端のデブラリング手法を、視覚品質と構造忠実度の両方で、少ないパラメータ数で凌駕し、さらにデヘイジング、デレイニング、デノイジングタスクにおいても良好な性能を示すことが実証された。

English

Blind image deblurring demands the recovery of high-fidelity details and coherent structures from complex, unknown degradations. Current blind image deblurring methods struggle with real-world, spatially varying degradations, and lack the semantic awareness necessary to reliably differentiate valid textures from artifacts. To bridge this gap, we propose CogSENet, a dynamic, semantic-aligned reconstruction framework inspired by the eagle's visual system. By mimicking the eagle's active saccadic scanning, we devise a Semantic-Driven State Space Module (SDSSM) with semantic-aware token regrouping via differentiable routing, enabling prompt-conditioned long-range dependency modeling. To ensure physically interpretable recovery of textures and structures, a BiFreqFusionBlock (BFFB) mirrors functional differentiation of the eagle's retina by decomposing features into high and low frequencies using wavelet transforms. Finally, we estimate a continuous Blur Field (CBF) from blur image and fuse it with CLIP semantic priors to modulate the deepest latent features, emulating focal adaptation and enabling adaptive restoration under spatially non-uniform blur. Extensive experiments demonstrate that CogSENetoutperforms state-of-the-art deblurring methods in both visual quality and structural fidelity with fewer parameters, while also performing favorably on dehazing, deraining, and denoising tasks.