SP^3: 플러그 앤 플레이 복원을 위한 구면 사전

초록

본 논문에서는 잡음 제거기를 생성적 사전(prior)으로 사용하는 구형 인코더(SE: Spherical Encoder)로 대체하여 최대 사후 확률(MAP) 이미지 복원을 가속화하는 새로운 플러그 앤 플레이(Plug-and-Play) 알고리즘인 SP^3를 소개한다. SP^3는 SE의 밀집하게 구조화된 잠재 공간(latent space)을 자연 이미지 다양체에 대한 강건한 투영(projection)으로 활용하여 다루기 어려운 근접 사전(proximal prior) 단계를 근사한다. 반이차 분할(Half-Quadratic Splitting)을 통해 이 투영을 폐쇄형(closed-form) 데이터 일치 단계와 번갈아 수행함으로써 추론 중 기울기 계산 없이도 안정적인 수렴을 달성한다. 이 독특한 구성은 "언제든지(anytime)" 복원 기능을 가능하게 하여 첫 번째 반복부터 선명하고 그럴듯한 이미지를 생성한다. 다양한 이미지 복원 작업에 대한 평가 결과, SP^3는 최첨단 제로샷 확산 및 플로우(flow) 방법과 견줄만한 지각적 품질을 달성하면서도 3~630배 더 빠른 속도를 보인다.

English

In this paper, we introduce SP^3, a novel Plug-and-Play algorithm that accelerates maximum a posteriori image restoration by replacing denoisers with Spherical Encoders (SE) as generative priors. SP^3 approximates the intractable proximal prior step by utilizing the SE tightly structured latent space as a robust projection onto the natural image manifold. Alternating this projection with a closed-form data-consistency step, via Half-Quadratic Splitting, achieves stable convergence without requiring gradient computation during inference. This unique formulation unlocks "anytime" restoration capabilities, producing sharp, plausible images from the first iteration. Evaluations across a variety of image restoration tasks demonstrate that SP^3 achieves perceptual quality comparable to state-of-the-art zero-shot diffusion and flow methods while being 3-630times faster.