FouriScale: Una Perspectiva de Frecuencia para la Síntesis de Imágenes de Alta Resolución sin Entrenamiento

FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis

March 19, 2024

Autores: Linjiang Huang, Rongyao Fang, Aiping Zhang, Guanglu Song, Si Liu, Yu Liu, Hongsheng Li

cs.AI

Resumen

En este estudio, profundizamos en la generación de imágenes de alta resolución a partir de modelos de difusión preentrenados, abordando desafíos persistentes, como patrones repetitivos y distorsiones estructurales, que surgen cuando los modelos se aplican más allá de las resoluciones para las que fueron entrenados. Para abordar este problema, presentamos un enfoque innovador y libre de entrenamiento, denominado FouriScale, desde la perspectiva del análisis en el dominio de la frecuencia. Reemplazamos las capas convolucionales originales en los modelos de difusión preentrenados incorporando una técnica de dilatación junto con una operación de paso bajo, con el objetivo de lograr consistencia estructural y consistencia de escala entre diferentes resoluciones, respectivamente. Mejorado aún más por una estrategia de relleno y recorte, nuestro método puede manejar de manera flexible la generación de imágenes a partir de texto con diversas relaciones de aspecto. Al utilizar FouriScale como guía, nuestro método logra equilibrar la integridad estructural y la fidelidad de las imágenes generadas, alcanzando una capacidad asombrosa para la generación de imágenes de alta resolución, alta calidad y tamaño arbitrario. Con su simplicidad y compatibilidad, nuestro método puede proporcionar valiosas ideas para futuras exploraciones en la síntesis de imágenes de ultra alta resolución. El código será publicado en https://github.com/LeonHLJ/FouriScale.

English

In this study, we delve into the generation of high-resolution images from pre-trained diffusion models, addressing persistent challenges, such as repetitive patterns and structural distortions, that emerge when models are applied beyond their trained resolutions. To address this issue, we introduce an innovative, training-free approach FouriScale from the perspective of frequency domain analysis. We replace the original convolutional layers in pre-trained diffusion models by incorporating a dilation technique along with a low-pass operation, intending to achieve structural consistency and scale consistency across resolutions, respectively. Further enhanced by a padding-then-crop strategy, our method can flexibly handle text-to-image generation of various aspect ratios. By using the FouriScale as guidance, our method successfully balances the structural integrity and fidelity of generated images, achieving an astonishing capacity of arbitrary-size, high-resolution, and high-quality generation. With its simplicity and compatibility, our method can provide valuable insights for future explorations into the synthesis of ultra-high-resolution images. The code will be released at https://github.com/LeonHLJ/FouriScale.