Difusão em Espaço de Escalas

Resumo

Os modelos de difusão degradam imagens através da adição de ruído, e a reversão deste processo revela uma hierarquia de informação ao longo dos intervalos de tempo. A teoria do espaço de escala exibe uma hierarquia semelhante através da filtragem passa-baixo. Nós formalizamos esta conexão e demonstramos que os estados altamente ruidosos da difusão não contêm mais informação do que imagens pequenas e redimensionadas - levantando a questão de por que eles precisam ser processados em resolução total. Para abordar isto, integramos espaços de escala no processo de difusão, formulando uma família de modelos de difusão com degradações lineares generalizadas e implementações práticas. A utilização do redimensionamento como degradação resulta na nossa proposta de Difusão no Espaço de Escala. Para suportar a Difusão no Espaço de Escala, introduzimos a Flexi-UNet, uma variante da UNet que realiza a remoção de ruído preservando e aumentando a resolução, utilizando apenas as partes necessárias da rede. Avaliamos o nosso framework no CelebA e no ImageNet e analisamos o seu comportamento de escalonamento através de várias resoluções e profundidades de rede. O nosso site do projeto ( https://prateksha.github.io/projects/scale-space-diffusion/ ) está disponível publicamente.

English

Diffusion models degrade images through noise, and reversing this process reveals an information hierarchy across timesteps. Scale-space theory exhibits a similar hierarchy via low-pass filtering. We formalize this connection and show that highly noisy diffusion states contain no more information than small, downsampled images - raising the question of why they must be processed at full resolution. To address this, we fuse scale spaces into the diffusion process by formulating a family of diffusion models with generalized linear degradations and practical implementations. Using downsampling as the degradation yields our proposed Scale Space Diffusion. To support Scale Space Diffusion, we introduce Flexi-UNet, a UNet variant that performs resolution-preserving and resolution-increasing denoising using only the necessary parts of the network. We evaluate our framework on CelebA and ImageNet and analyze its scaling behavior across resolutions and network depths. Our project website ( https://prateksha.github.io/projects/scale-space-diffusion/ ) is available publicly.