Bild-Superauflösung mit beliebigen Schritten über Diffusionsinversion

Arbitrary-steps Image Super-resolution via Diffusion Inversion

December 12, 2024

Autoren: Zongsheng Yue, Kang Liao, Chen Change Loy

cs.AI

Zusammenfassung

Diese Studie präsentiert eine neue Bild-Super-Resolution (SR)-Technik, die auf Diffusionsinversion basiert und darauf abzielt, die reichen Bildprioritäten, die in großen vorab trainierten Diffusionsmodellen enthalten sind, zu nutzen, um die SR-Performance zu verbessern. Wir entwerfen eine Strategie zur teilweisen Rauschvorhersage, um einen Zwischenzustand des Diffusionsmodells zu konstruieren, der als Ausgangspunkt für die Stichprobenziehung dient. Zentral für unseren Ansatz ist ein tiefgreifender Rauschvorhersager, um die optimalen Rauschkarten für den Vorwärtsdiffusionsprozess zu schätzen. Sobald trainiert, kann dieser Rauschvorhersager verwendet werden, um den Stichprozess teilweise entlang der Diffusionstrajectorie zu initialisieren und das gewünschte hochauflösende Ergebnis zu erzeugen. Im Vergleich zu bestehenden Ansätzen bietet unsere Methode einen flexiblen und effizienten Stichprozess, der eine beliebige Anzahl von Stichprozessschritten unterstützt, von eins bis fünf. Selbst mit einem einzigen Stichprozessschritt zeigt unsere Methode eine überlegene oder vergleichbare Leistung im Vergleich zu aktuellen State-of-the-Art-Ansätzen. Der Code und das Modell sind öffentlich verfügbar unter https://github.com/zsyOAOA/InvSR.

English

This study presents a new image super-resolution (SR) technique based on diffusion inversion, aiming at harnessing the rich image priors encapsulated in large pre-trained diffusion models to improve SR performance. We design a Partial noise Prediction strategy to construct an intermediate state of the diffusion model, which serves as the starting sampling point. Central to our approach is a deep noise predictor to estimate the optimal noise maps for the forward diffusion process. Once trained, this noise predictor can be used to initialize the sampling process partially along the diffusion trajectory, generating the desirable high-resolution result. Compared to existing approaches, our method offers a flexible and efficient sampling mechanism that supports an arbitrary number of sampling steps, ranging from one to five. Even with a single sampling step, our method demonstrates superior or comparable performance to recent state-of-the-art approaches. The code and model are publicly available at https://github.com/zsyOAOA/InvSR.