FouriScale: Eine Frequenzperspektive zur trainingsfreien Hochauflösungs-Bildsynthese

FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis

March 19, 2024

Autoren: Linjiang Huang, Rongyao Fang, Aiping Zhang, Guanglu Song, Si Liu, Yu Liu, Hongsheng Li

cs.AI

Zusammenfassung

In dieser Studie untersuchen wir die Generierung von hochauflösenden Bildern aus vorab trainierten Diffusionsmodellen und gehen auf bestehende Herausforderungen ein, wie etwa repetitive Muster und strukturelle Verzerrungen, die auftreten, wenn Modelle über ihre trainierten Auflösungen hinaus angewendet werden. Um dieses Problem anzugehen, stellen wir einen innovativen, trainingfreien Ansatz namens FouriScale aus der Perspektive der Frequenzbereichsanalyse vor. Wir ersetzen die originalen Faltungs-Schichten in den vorab trainierten Diffusionsmodellen, indem wir eine Dilatationstechnik zusammen mit einer Tiefpassoperation integrieren, mit dem Ziel, strukturelle Konsistenz und Skalenkonsistenz über verschiedene Auflösungen hinweg zu erreichen. Durch eine weitere Verbesserung mittels einer Padding-then-Crop-Strategie kann unsere Methode flexibel mit der Generierung von Text-zu-Bildern verschiedener Seitenverhältnisse umgehen. Indem wir uns an FouriScale orientieren, balanciert unsere Methode erfolgreich die strukturelle Integrität und die Treue der generierten Bilder aus und erreicht eine erstaunliche Kapazität für die Generierung von Bildern beliebiger Größe, hoher Auflösung und hoher Qualität. Mit ihrer Einfachheit und Kompatibilität kann unsere Methode wertvolle Einblicke für zukünftige Erkundungen in die Synthese von ultrahochauflösenden Bildern bieten. Der Code wird unter https://github.com/LeonHLJ/FouriScale veröffentlicht.

English

In this study, we delve into the generation of high-resolution images from pre-trained diffusion models, addressing persistent challenges, such as repetitive patterns and structural distortions, that emerge when models are applied beyond their trained resolutions. To address this issue, we introduce an innovative, training-free approach FouriScale from the perspective of frequency domain analysis. We replace the original convolutional layers in pre-trained diffusion models by incorporating a dilation technique along with a low-pass operation, intending to achieve structural consistency and scale consistency across resolutions, respectively. Further enhanced by a padding-then-crop strategy, our method can flexibly handle text-to-image generation of various aspect ratios. By using the FouriScale as guidance, our method successfully balances the structural integrity and fidelity of generated images, achieving an astonishing capacity of arbitrary-size, high-resolution, and high-quality generation. With its simplicity and compatibility, our method can provide valuable insights for future explorations into the synthesis of ultra-high-resolution images. The code will be released at https://github.com/LeonHLJ/FouriScale.