CogSENet : Défloutage d'image aveugle avec routage sémantique conditionné par le flou et fusion explicite des fréquences

Résumé

La déconvolution aveugle d'images exige la récupération de détails haute-fidélité et de structures cohérentes à partir de dégradations complexes et inconnues. Les méthodes actuelles de déconvolution aveugle peinent face aux dégradations réelles variant spatialement et manquent de la conscience sémantique nécessaire pour distinguer de manière fiable les textures valides des artefacts. Pour combler cette lacune, nous proposons CogSENet, un cadre de reconstruction dynamique et aligné sémantiquement, inspiré du système visuel de l'aigle. En imitant le balayage saccadique actif de l'aigle, nous concevons un module d'espace d'état piloté par la sémantique (SDSSM) avec un regroupement de jetons sémantiquement conscient par routage différentiable, permettant une modélisation des dépendances à longue portée conditionnée par des indices. Pour assurer une récupération physiquement interprétable des textures et des structures, un bloc de fusion bifréquence (BFFB) reflète la différenciation fonctionnelle de la rétine de l'aigle en décomposant les caractéristiques en hautes et basses fréquences à l'aide de transformées en ondelettes. Enfin, nous estimons un champ de flou continu (CBF) à partir de l'image floue et le fusionnons avec des a priori sémantiques de CLIP pour moduler les caractéristiques latentes les plus profondes, imitant l'adaptation focale et permettant une restauration adaptative sous un flou spatialement non uniforme. Des expériences approfondies montrent que CogSENet surpasse les méthodes de déconvolution de pointe à la fois en qualité visuelle et en fidélité structurelle avec moins de paramètres, tout en obtenant de bons résultats sur les tâches de désembuage, de dépluie et de débruitage.

English

Blind image deblurring demands the recovery of high-fidelity details and coherent structures from complex, unknown degradations. Current blind image deblurring methods struggle with real-world, spatially varying degradations, and lack the semantic awareness necessary to reliably differentiate valid textures from artifacts. To bridge this gap, we propose CogSENet, a dynamic, semantic-aligned reconstruction framework inspired by the eagle's visual system. By mimicking the eagle's active saccadic scanning, we devise a Semantic-Driven State Space Module (SDSSM) with semantic-aware token regrouping via differentiable routing, enabling prompt-conditioned long-range dependency modeling. To ensure physically interpretable recovery of textures and structures, a BiFreqFusionBlock (BFFB) mirrors functional differentiation of the eagle's retina by decomposing features into high and low frequencies using wavelet transforms. Finally, we estimate a continuous Blur Field (CBF) from blur image and fuse it with CLIP semantic priors to modulate the deepest latent features, emulating focal adaptation and enabling adaptive restoration under spatially non-uniform blur. Extensive experiments demonstrate that CogSENetoutperforms state-of-the-art deblurring methods in both visual quality and structural fidelity with fewer parameters, while also performing favorably on dehazing, deraining, and denoising tasks.