FouriScale: Частотная перспектива на обучение-бесплатный синтез изображений высокого разрешения

FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis

March 19, 2024

Авторы: Linjiang Huang, Rongyao Fang, Aiping Zhang, Guanglu Song, Si Liu, Yu Liu, Hongsheng Li

cs.AI

Аннотация

В данном исследовании мы глубоко исследуем генерацию изображений высокого разрешения из предварительно обученных моделей диффузии, решая постоянные проблемы, такие как повторяющиеся узоры и структурные искажения, которые возникают при применении моделей за пределами их обученных разрешений. Для решения этой проблемы мы представляем инновационный подход FouriScale без обучения с точки зрения анализа частотной области. Мы заменяем исходные сверточные слои в предварительно обученных моделях диффузии, интегрируя технику дилатации вместе с операцией низкочастотного фильтра, с целью достижения структурной и масштабной согласованности на разных разрешениях соответственно. Дополнительно усиленная стратегией дополнения-затем-обрезки, наш метод гибко обрабатывает генерацию текста в изображения различных соотношений сторон. Используя FouriScale в качестве руководства, наш метод успешно балансирует структурную целостность и достоверность сгенерированных изображений, достигая поразительной способности к генерации изображений произвольного размера, высокого разрешения и качества. Благодаря своей простоте и совместимости, наш метод может предоставить ценные идеи для будущих исследований в области синтеза изображений с ультравысоким разрешением. Код будет опубликован на https://github.com/LeonHLJ/FouriScale.

English

In this study, we delve into the generation of high-resolution images from pre-trained diffusion models, addressing persistent challenges, such as repetitive patterns and structural distortions, that emerge when models are applied beyond their trained resolutions. To address this issue, we introduce an innovative, training-free approach FouriScale from the perspective of frequency domain analysis. We replace the original convolutional layers in pre-trained diffusion models by incorporating a dilation technique along with a low-pass operation, intending to achieve structural consistency and scale consistency across resolutions, respectively. Further enhanced by a padding-then-crop strategy, our method can flexibly handle text-to-image generation of various aspect ratios. By using the FouriScale as guidance, our method successfully balances the structural integrity and fidelity of generated images, achieving an astonishing capacity of arbitrary-size, high-resolution, and high-quality generation. With its simplicity and compatibility, our method can provide valuable insights for future explorations into the synthesis of ultra-high-resolution images. The code will be released at https://github.com/LeonHLJ/FouriScale.