Difusión en el Espacio de Escalas

Resumen

Los modelos de difusión degradan las imágenes mediante ruido, y revertir este proceso revela una jerarquía de información a lo largo de los pasos temporales. La teoría del espacio de escalas exhibe una jerarquía similar mediante filtrado paso bajo. Formalizamos esta conexión y demostramos que los estados de difusión altamente ruidosos no contienen más información que imágenes pequeñas y reducidas en escala, lo que plantea la pregunta de por qué deben procesarse a resolución completa. Para abordarlo, fusionamos los espacios de escalas en el proceso de difusión formulando una familia de modelos de difusión con degradaciones lineales generalizadas e implementaciones prácticas. Utilizar la reducción de escala como degradación da lugar a nuestra propuesta: Difusión en el Espacio de Escalas. Para respaldar esta difusión, presentamos Flexi-UNet, una variante de UNet que realiza desruido que preserva la resolución y aumenta la resolución utilizando únicamente las partes necesarias de la red. Evaluamos nuestro marco de trabajo en CelebA e ImageNet y analizamos su comportamiento de escalado a través de resoluciones y profundidades de red. Nuestro sitio web del proyecto ( https://prateksha.github.io/projects/scale-space-diffusion/ ) está disponible públicamente.

English

Diffusion models degrade images through noise, and reversing this process reveals an information hierarchy across timesteps. Scale-space theory exhibits a similar hierarchy via low-pass filtering. We formalize this connection and show that highly noisy diffusion states contain no more information than small, downsampled images - raising the question of why they must be processed at full resolution. To address this, we fuse scale spaces into the diffusion process by formulating a family of diffusion models with generalized linear degradations and practical implementations. Using downsampling as the degradation yields our proposed Scale Space Diffusion. To support Scale Space Diffusion, we introduce Flexi-UNet, a UNet variant that performs resolution-preserving and resolution-increasing denoising using only the necessary parts of the network. We evaluate our framework on CelebA and ImageNet and analyze its scaling behavior across resolutions and network depths. Our project website ( https://prateksha.github.io/projects/scale-space-diffusion/ ) is available publicly.