MegaFusion: Extender los Modelos de Difusión hacia la Generación de Imágenes de Mayor Resolución sin Necesidad de Ajustes Adicionales

MegaFusion: Extend Diffusion Models towards Higher-resolution Image Generation without Further Tuning

August 20, 2024

Autores: Haoning Wu, Shaocheng Shen, Qiang Hu, Xiaoyun Zhang, Ya Zhang, Yanfeng Wang

cs.AI

Resumen

Los modelos de difusión han surgido como líderes en la generación de texto a imagen por sus impresionantes capacidades. Sin embargo, su resolución de imagen fija durante el entrenamiento a menudo conlleva desafíos en la generación de imágenes de alta resolución, como inexactitudes semánticas y replicación de objetos. Este artículo presenta MegaFusion, un enfoque novedoso que amplía los modelos existentes de generación de texto a imagen basados en difusión para una generación eficiente de mayor resolución sin necesidad de ajustes adicionales o adaptación extra. Específicamente, empleamos una estrategia innovadora de truncamiento y retransmisión para conectar los procesos de eliminación de ruido a través de diferentes resoluciones, permitiendo la generación de imágenes de alta resolución de manera de grueso a fino. Además, al integrar convoluciones dilatadas y reprogramación de ruido, adaptamos aún más los conocimientos previos del modelo para una mayor resolución. La versatilidad y eficacia de MegaFusion lo hacen universalmente aplicable tanto a modelos de difusión en espacio latente como en espacio de píxeles, junto con otros modelos derivados. Experimentos extensos confirman que MegaFusion aumenta significativamente la capacidad de los modelos existentes para producir imágenes de megapíxeles y varios aspect ratios, con solo requerir aproximadamente el 40% del costo computacional original.

English

Diffusion models have emerged as frontrunners in text-to-image generation for their impressive capabilities. Nonetheless, their fixed image resolution during training often leads to challenges in high-resolution image generation, such as semantic inaccuracies and object replication. This paper introduces MegaFusion, a novel approach that extends existing diffusion-based text-to-image generation models towards efficient higher-resolution generation without additional fine-tuning or extra adaptation. Specifically, we employ an innovative truncate and relay strategy to bridge the denoising processes across different resolutions, allowing for high-resolution image generation in a coarse-to-fine manner. Moreover, by integrating dilated convolutions and noise re-scheduling, we further adapt the model's priors for higher resolution. The versatility and efficacy of MegaFusion make it universally applicable to both latent-space and pixel-space diffusion models, along with other derivative models. Extensive experiments confirm that MegaFusion significantly boosts the capability of existing models to produce images of megapixels and various aspect ratios, while only requiring about 40% of the original computational cost.