MegaFusion : Étendre les modèles de diffusion vers la génération d'images à haute résolution sans ajustement supplémentaire

MegaFusion: Extend Diffusion Models towards Higher-resolution Image Generation without Further Tuning

August 20, 2024

Auteurs: Haoning Wu, Shaocheng Shen, Qiang Hu, Xiaoyun Zhang, Ya Zhang, Yanfeng Wang

cs.AI

Résumé

Les modèles de diffusion se sont imposés comme des leaders dans la génération de texte vers image pour leurs capacités impressionnantes. Néanmoins, leur résolution d'image fixe pendant l'entraînement entraîne souvent des défis dans la génération d'images haute résolution, tels que des inexactitudes sémantiques et la réplication d'objets. Cet article présente MegaFusion, une approche novatrice qui étend les modèles de génération de texte vers image basés sur la diffusion existants vers une génération efficace à plus haute résolution sans ajustement fin supplémentaire ou adaptation supplémentaire. Plus précisément, nous utilisons une stratégie innovante de troncature et de relais pour relier les processus de débruitage à travers différentes résolutions, permettant la génération d'images haute résolution de manière grossière à fine. De plus, en intégrant des convolutions dilatées et une reprogrammation du bruit, nous adaptons davantage les a priori du modèle pour une résolution plus élevée. La polyvalence et l'efficacité de MegaFusion le rendent universellement applicable aux modèles de diffusion dans l'espace latent et dans l'espace des pixels, ainsi qu'à d'autres modèles dérivés. Des expériences approfondies confirment que MegaFusion améliore significativement la capacité des modèles existants à produire des images de mégapixels et de divers rapports d'aspect, tout en ne nécessitant qu'environ 40 % du coût informatique original.

English

Diffusion models have emerged as frontrunners in text-to-image generation for their impressive capabilities. Nonetheless, their fixed image resolution during training often leads to challenges in high-resolution image generation, such as semantic inaccuracies and object replication. This paper introduces MegaFusion, a novel approach that extends existing diffusion-based text-to-image generation models towards efficient higher-resolution generation without additional fine-tuning or extra adaptation. Specifically, we employ an innovative truncate and relay strategy to bridge the denoising processes across different resolutions, allowing for high-resolution image generation in a coarse-to-fine manner. Moreover, by integrating dilated convolutions and noise re-scheduling, we further adapt the model's priors for higher resolution. The versatility and efficacy of MegaFusion make it universally applicable to both latent-space and pixel-space diffusion models, along with other derivative models. Extensive experiments confirm that MegaFusion significantly boosts the capability of existing models to produce images of megapixels and various aspect ratios, while only requiring about 40% of the original computational cost.