SP^3: Sphärische Priors für die Plug-and-Play-Restauration

Zusammenfassung

In dieser Arbeit stellen wir SP^3 vor, einen neuartigen Plug-and-Play-Algorithmus, der die Maximum-a-posteriori-Bildrestaurierung beschleunigt, indem er Denoiser als generative Priors durch Sphärische Encoder (SE) ersetzt. SP^3 approximiert den nicht handhabbaren proximalen Prior-Schritt, indem es den eng strukturierten latenten Raum des SE als robuste Projektion auf die natürliche Bildmannigfaltigkeit nutzt. Die Abwechslung dieser Projektion mit einem geschlossenen datenkonsistenten Schritt mittels Half-Quadratic Splitting ermöglicht eine stabile Konvergenz, ohne dass während der Inferenz Gradienten berechnet werden müssen. Diese einzigartige Formulierung erlaubt eine „Anytime“-Restaurierung, die bereits ab der ersten Iteration scharfe, plausible Bilder erzeugt. Bewertungen über verschiedene Bildrestaurierungsaufgaben hinweg zeigen, dass SP^3 eine mit modernsten Zero-Shot-Diffusions- und Flow-Methoden vergleichbare Wahrnehmungsqualität erreicht, dabei jedoch 3- bis 630-mal schneller ist.

English

In this paper, we introduce SP^3, a novel Plug-and-Play algorithm that accelerates maximum a posteriori image restoration by replacing denoisers with Spherical Encoders (SE) as generative priors. SP^3 approximates the intractable proximal prior step by utilizing the SE tightly structured latent space as a robust projection onto the natural image manifold. Alternating this projection with a closed-form data-consistency step, via Half-Quadratic Splitting, achieves stable convergence without requiring gradient computation during inference. This unique formulation unlocks "anytime" restoration capabilities, producing sharp, plausible images from the first iteration. Evaluations across a variety of image restoration tasks demonstrate that SP^3 achieves perceptual quality comparable to state-of-the-art zero-shot diffusion and flow methods while being 3-630times faster.