Диффузия в масштабном пространстве

Аннотация

Модели диффузии ухудшают изображения путем добавления шума, и обращение этого процесса выявляет иерархию информации на различных временных шагах. Теория масштабного пространства демонстрирует аналогичную иерархию с помощью низкочастотной фильтрации. Мы формализуем эту связь и показываем, что состояния диффузии с высоким уровнем шума содержат не больше информации, чем небольшие, уменьшенные изображения — это ставит вопрос о том, почему их необходимо обрабатывать в полном разрешении. Чтобы решить эту проблему, мы интегрируем масштабные пространства в процесс диффузии, сформулировав семейство моделей диффузии с обобщенными линейными искажениями и практическими реализациями. Использование уменьшения разрешения в качестве искажения приводит к нашей предложенной модели — Scale Space Diffusion. Для поддержки Scale Space Diffusion мы представляем Flexi-UNet, вариант UNet, который выполняет шумоподавление с сохранением и увеличением разрешения, используя только необходимые части сети. Мы оцениваем нашу архитектуру на наборах данных CelebA и ImageNet и анализируем ее масштабируемость across разрешениям и глубине сети. Наш проект доступен на веб-сайте: https://prateksha.github.io/projects/scale-space-diffusion/.

English

Diffusion models degrade images through noise, and reversing this process reveals an information hierarchy across timesteps. Scale-space theory exhibits a similar hierarchy via low-pass filtering. We formalize this connection and show that highly noisy diffusion states contain no more information than small, downsampled images - raising the question of why they must be processed at full resolution. To address this, we fuse scale spaces into the diffusion process by formulating a family of diffusion models with generalized linear degradations and practical implementations. Using downsampling as the degradation yields our proposed Scale Space Diffusion. To support Scale Space Diffusion, we introduce Flexi-UNet, a UNet variant that performs resolution-preserving and resolution-increasing denoising using only the necessary parts of the network. We evaluate our framework on CelebA and ImageNet and analyze its scaling behavior across resolutions and network depths. Our project website ( https://prateksha.github.io/projects/scale-space-diffusion/ ) is available publicly.