Schaalruimtediffusie

Samenvatting

Diffusiemodellen degraderen beelden door ruis toe te voegen, en het omkeren van dit proces onthult een informatiehiërarchie over de tijdstappen heen. De schaalruimtetheorie vertoont een vergelijkbare hiërarchie via laagdoorlaatfiltering. Wij formaliseren dit verband en tonen aan dat sterk verruiste diffusietoestanden niet meer informatie bevatten dan kleine, omlaag geschaalde beelden - wat de vraag oproept waarom ze op volledige resolutie verwerkt moeten worden. Om dit aan te pakken, integreren we schaalruimten in het diffusieproces door een familie van diffusiemodellen te formuleren met gegeneraliseerde lineaire degradaties en praktische implementaties. Het gebruik van downsampling als degradatie levert onze voorgestelde Scale Space Diffusion op. Om Scale Space Diffusion te ondersteunen, introduceren we Flexi-UNet, een UNet-variant die resolutiebehoudende en resolutieverhogende denoising uitvoert met alleen de noodzakelijke delen van het netwerk. We evalueren ons framework op CelebA en ImageNet en analyseren de schaalbaarheid over verschillende resoluties en netwerkdieptes. Onze projectwebsite ( https://prateksha.github.io/projects/scale-space-diffusion/ ) is openbaar beschikbaar.

English

Diffusion models degrade images through noise, and reversing this process reveals an information hierarchy across timesteps. Scale-space theory exhibits a similar hierarchy via low-pass filtering. We formalize this connection and show that highly noisy diffusion states contain no more information than small, downsampled images - raising the question of why they must be processed at full resolution. To address this, we fuse scale spaces into the diffusion process by formulating a family of diffusion models with generalized linear degradations and practical implementations. Using downsampling as the degradation yields our proposed Scale Space Diffusion. To support Scale Space Diffusion, we introduce Flexi-UNet, a UNet variant that performs resolution-preserving and resolution-increasing denoising using only the necessary parts of the network. We evaluate our framework on CelebA and ImageNet and analyze its scaling behavior across resolutions and network depths. Our project website ( https://prateksha.github.io/projects/scale-space-diffusion/ ) is available publicly.