CogSENet: 블러 조건부 의미적 라우팅과 명시적 주파수 융합을 통한 블라인드 이미지 디블러링

초록

블라인드 이미지 디블러링(blind image deblurring)은 복잡하고 알려지지 않은 열화(劣化)로부터 충실도 높은 세부 정보와 정합성 있는 구조를 복원해야 한다. 현재의 블라인드 디블러링 기법들은 실제 세계의 공간적으로 변하는 열화에 취약하며, 유효한 텍스처와 인공물을 신뢰성 있게 구분하는 데 필요한 의미 인식(semantic awareness)이 부족하다. 이러한 한계를 극복하기 위해, 우리는 독수리의 시각 체계에서 영감을 받은 동적 의미 정합 재구성 프레임워크인 CogSENet을 제안한다. 독수리의 능동적 단속적 주사(saccadic scanning)를 모방하여, 의미 인식 토큰 재그룹화와 미분 가능 경로 설정(differentiable routing)을 통한 프롬프트 조건부 장거리 의존성 모델링을 가능하게 하는 의미 기반 상태 공간 모듈(Semantic-Driven State Space Module, SDSSM)을 설계한다. 또한 물리적으로 해석 가능한 텍스처 및 구조 복원을 보장하기 위해, 웨이블릿 변환을 사용하여 특징을 고주파와 저주파로 분해함으로써 독수리 망막의 기능적 분화를 반영하는 이중 주파수 융합 블록(BiFreqFusionBlock, BFFB)을 구축한다. 마지막으로, 블러 이미지로부터 연속적인 블러 필드(Blur Field, CBF)를 추정하고 이를 CLIP 의미 사전 정보와 융합하여 최심층 잠재 특징을 조절함으로써 초점 적응을 모방하고, 공간적으로 불균일한 블러 하에서 적응적 복원을 가능하게 한다. 광범위한 실험을 통해 CogSENet이 더 적은 파라미터로 시각적 품질과 구조적 충실도 모두에서 최신 디블러링 방법들을 능가할 뿐만 아니라, 안개 제거, 비 제거 및 잡음 제거 작업에서도 우수한 성능을 보임을 입증한다.

English

Blind image deblurring demands the recovery of high-fidelity details and coherent structures from complex, unknown degradations. Current blind image deblurring methods struggle with real-world, spatially varying degradations, and lack the semantic awareness necessary to reliably differentiate valid textures from artifacts. To bridge this gap, we propose CogSENet, a dynamic, semantic-aligned reconstruction framework inspired by the eagle's visual system. By mimicking the eagle's active saccadic scanning, we devise a Semantic-Driven State Space Module (SDSSM) with semantic-aware token regrouping via differentiable routing, enabling prompt-conditioned long-range dependency modeling. To ensure physically interpretable recovery of textures and structures, a BiFreqFusionBlock (BFFB) mirrors functional differentiation of the eagle's retina by decomposing features into high and low frequencies using wavelet transforms. Finally, we estimate a continuous Blur Field (CBF) from blur image and fuse it with CLIP semantic priors to modulate the deepest latent features, emulating focal adaptation and enabling adaptive restoration under spatially non-uniform blur. Extensive experiments demonstrate that CogSENetoutperforms state-of-the-art deblurring methods in both visual quality and structural fidelity with fewer parameters, while also performing favorably on dehazing, deraining, and denoising tasks.