Skalenraum-Diffusion

Zusammenfassung

Diffusionsmodelle degradieren Bilder durch Rauschen, und die Umkehrung dieses Prozesses offenbart eine Informationshierarchie über Zeitschritte hinweg. Die Skalenraumtheorie zeigt eine ähnliche Hierarchie durch Tiefpassfilterung auf. Wir formalisieren diese Verbindung und zeigen, dass stark verrauschte Diffusionszustände nicht mehr Information enthalten als kleine, herunterskalierte Bilder – was die Frage aufwirft, warum sie in voller Auflösung verarbeitet werden müssen. Um dies zu adressieren, integrieren wir Skalenräume in den Diffusionsprozess, indem wir eine Familie von Diffusionsmodellen mit verallgemeinerten linearen Degradationen und praktischen Implementierungen formulieren. Die Verwendung von Herunterskalierung als Degradation führt zu unserem vorgeschlagenen Scale Space Diffusion. Um Scale Space Diffusion zu unterstützen, führen wir Flexi-UNet ein, eine UNet-Variante, die auflösungserhaltendes und auflösungserhöhendes Entrauschen unter ausschließlicher Verwendung der notwendigen Netzwerkteile durchführt. Wir evaluieren unser Framework auf CelebA und ImageNet und analysieren sein Skalierungsverhalten über Auflösungen und Netzwerktiefen hinweg. Unsere Projektwebsite (https://prateksha.github.io/projects/scale-space-diffusion/) ist öffentlich verfügbar.

English

Diffusion models degrade images through noise, and reversing this process reveals an information hierarchy across timesteps. Scale-space theory exhibits a similar hierarchy via low-pass filtering. We formalize this connection and show that highly noisy diffusion states contain no more information than small, downsampled images - raising the question of why they must be processed at full resolution. To address this, we fuse scale spaces into the diffusion process by formulating a family of diffusion models with generalized linear degradations and practical implementations. Using downsampling as the degradation yields our proposed Scale Space Diffusion. To support Scale Space Diffusion, we introduce Flexi-UNet, a UNet variant that performs resolution-preserving and resolution-increasing denoising using only the necessary parts of the network. We evaluate our framework on CelebA and ImageNet and analyze its scaling behavior across resolutions and network depths. Our project website ( https://prateksha.github.io/projects/scale-space-diffusion/ ) is available publicly.