MegaFusion: Erweiterung von Diffusionsmodellen für die Generierung von Bildern mit höherer Auflösung ohne weitere Feinabstimmung

MegaFusion: Extend Diffusion Models towards Higher-resolution Image Generation without Further Tuning

August 20, 2024

Autoren: Haoning Wu, Shaocheng Shen, Qiang Hu, Xiaoyun Zhang, Ya Zhang, Yanfeng Wang

cs.AI

Zusammenfassung

Diffusionsmodelle haben sich aufgrund ihrer beeindruckenden Fähigkeiten als Spitzenreiter in der Text-zu-Bild-Generierung etabliert. Dennoch führt die feste Bildauflösung während des Trainings oft zu Herausforderungen bei der Generierung von hochauflösenden Bildern, wie semantische Ungenauigkeiten und Objektreplikationen. Dieser Artikel stellt MegaFusion vor, einen neuartigen Ansatz, der bestehende auf Diffusion basierende Text-zu-Bild-Generierungsmodelle für eine effiziente Generierung in höherer Auflösung ohne zusätzliches Feintuning oder zusätzliche Anpassung erweitert. Konkret verwenden wir eine innovative Trunkierungs- und Relaisstrategie, um die Denoising-Prozesse über verschiedene Auflösungen hinweg zu verbinden, was eine Generierung von hochauflösenden Bildern in grob-zu-fein Weise ermöglicht. Darüber hinaus passen wir durch die Integration von dilatierten Faltungen und der Neuordnung von Rauschen die Prioritäten des Modells weiter für höhere Auflösungen an. Die Vielseitigkeit und Wirksamkeit von MegaFusion machen es universell anwendbar für sowohl Latent-Space- als auch Pixel-Space-Diffusionsmodelle sowie andere abgeleitete Modelle. Umfangreiche Experimente bestätigen, dass MegaFusion die Fähigkeit bestehender Modelle signifikant steigert, Bilder mit Megapixeln und verschiedenen Seitenverhältnissen zu erzeugen, während nur etwa 40% der ursprünglichen Rechenkosten benötigt werden.

English

Diffusion models have emerged as frontrunners in text-to-image generation for their impressive capabilities. Nonetheless, their fixed image resolution during training often leads to challenges in high-resolution image generation, such as semantic inaccuracies and object replication. This paper introduces MegaFusion, a novel approach that extends existing diffusion-based text-to-image generation models towards efficient higher-resolution generation without additional fine-tuning or extra adaptation. Specifically, we employ an innovative truncate and relay strategy to bridge the denoising processes across different resolutions, allowing for high-resolution image generation in a coarse-to-fine manner. Moreover, by integrating dilated convolutions and noise re-scheduling, we further adapt the model's priors for higher resolution. The versatility and efficacy of MegaFusion make it universally applicable to both latent-space and pixel-space diffusion models, along with other derivative models. Extensive experiments confirm that MegaFusion significantly boosts the capability of existing models to produce images of megapixels and various aspect ratios, while only requiring about 40% of the original computational cost.