FouriScale : Une Perspective Fréquentielle pour la Synthèse d'Images Haute Résolution sans Entraînement

FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis

March 19, 2024

Auteurs: Linjiang Huang, Rongyao Fang, Aiping Zhang, Guanglu Song, Si Liu, Yu Liu, Hongsheng Li

cs.AI

Résumé

Dans cette étude, nous explorons la génération d'images haute résolution à partir de modèles de diffusion pré-entraînés, en abordant les défis persistants, tels que les motifs répétitifs et les distorsions structurelles, qui apparaissent lorsque les modèles sont appliqués au-delà de leurs résolutions d'entraînement. Pour résoudre ce problème, nous introduisons une approche innovante et sans entraînement, FouriScale, basée sur une analyse dans le domaine fréquentiel. Nous remplaçons les couches convolutionnelles originales des modèles de diffusion pré-entraînés en incorporant une technique de dilatation ainsi qu'une opération de filtrage passe-bas, visant respectivement à assurer la cohérence structurelle et la cohérence d'échelle à travers les résolutions. Renforcée par une stratégie de remplissage puis de recadrage, notre méthode peut gérer de manière flexible la génération d'images à partir de texte pour divers ratios d'aspect. En utilisant FouriScale comme guide, notre méthode parvient à équilibrer l'intégrité structurelle et la fidélité des images générées, atteignant une capacité impressionnante de génération de haute qualité, haute résolution et de taille arbitraire. Grâce à sa simplicité et sa compatibilité, notre méthode peut offrir des perspectives précieuses pour les futures explorations dans la synthèse d'images à ultra-haute résolution. Le code sera disponible à l'adresse suivante : https://github.com/LeonHLJ/FouriScale.

English

In this study, we delve into the generation of high-resolution images from pre-trained diffusion models, addressing persistent challenges, such as repetitive patterns and structural distortions, that emerge when models are applied beyond their trained resolutions. To address this issue, we introduce an innovative, training-free approach FouriScale from the perspective of frequency domain analysis. We replace the original convolutional layers in pre-trained diffusion models by incorporating a dilation technique along with a low-pass operation, intending to achieve structural consistency and scale consistency across resolutions, respectively. Further enhanced by a padding-then-crop strategy, our method can flexibly handle text-to-image generation of various aspect ratios. By using the FouriScale as guidance, our method successfully balances the structural integrity and fidelity of generated images, achieving an astonishing capacity of arbitrary-size, high-resolution, and high-quality generation. With its simplicity and compatibility, our method can provide valuable insights for future explorations into the synthesis of ultra-high-resolution images. The code will be released at https://github.com/LeonHLJ/FouriScale.