Diffusione nello Spazio di Scala

Abstract

I modelli di diffusione degradano le immagini attraverso il rumore, e invertire questo processo rivela una gerarchia informativa attraverso i timestep. La teoria dello scale-space mostra una gerarchia simile tramite filtraggio passa-basso. Formalizziamo questa connessione e dimostriamo che gli stati di diffusione altamente rumorosi non contengono più informazioni di piccole immagini sottocampionate - sollevando la questione del perché debbano essere processate a risoluzione completa. Per affrontare ciò, fondiamo gli scale-space nel processo di diffusione formulando una famiglia di modelli di diffusione con degradazioni lineari generalizzate e implementazioni pratiche. Utilizzare il sottocampionamento come degradazione produce la nostra proposta Scale Space Diffusion. Per supportare Scale Space Diffusion, introduciamo Flexi-UNet, una variante di UNet che esegue la denoising preservando e aumentando la risoluzione utilizzando solo le parti necessarie della rete. Valutiamo il nostro framework su CelebA e ImageNet e analizziamo il suo comportamento di scaling attraverso risoluzioni e profondità di rete. Il nostro sito web del progetto ( https://prateksha.github.io/projects/scale-space-diffusion/ ) è disponibile pubblicamente.

English

Diffusion models degrade images through noise, and reversing this process reveals an information hierarchy across timesteps. Scale-space theory exhibits a similar hierarchy via low-pass filtering. We formalize this connection and show that highly noisy diffusion states contain no more information than small, downsampled images - raising the question of why they must be processed at full resolution. To address this, we fuse scale spaces into the diffusion process by formulating a family of diffusion models with generalized linear degradations and practical implementations. Using downsampling as the degradation yields our proposed Scale Space Diffusion. To support Scale Space Diffusion, we introduce Flexi-UNet, a UNet variant that performs resolution-preserving and resolution-increasing denoising using only the necessary parts of the network. We evaluate our framework on CelebA and ImageNet and analyze its scaling behavior across resolutions and network depths. Our project website ( https://prateksha.github.io/projects/scale-space-diffusion/ ) is available publicly.