MegaFusion: Estender Modelos de Difusão para Geração de Imagens de Alta Resolução sem Necessidade de Ajustes Adicionais

MegaFusion: Extend Diffusion Models towards Higher-resolution Image Generation without Further Tuning

August 20, 2024

Autores: Haoning Wu, Shaocheng Shen, Qiang Hu, Xiaoyun Zhang, Ya Zhang, Yanfeng Wang

cs.AI

Resumo

Os modelos de difusão surgiram como líderes na geração de texto para imagem por suas capacidades impressionantes. No entanto, a resolução de imagem fixa durante o treinamento muitas vezes resulta em desafios na geração de imagens de alta resolução, como imprecisões semânticas e replicação de objetos. Este artigo apresenta o MegaFusion, uma abordagem inovadora que estende os modelos de geração de texto para imagem baseados em difusão existentes para uma geração eficiente de alta resolução sem ajustes adicionais ou adaptação extra. Especificamente, empregamos uma estratégia inovadora de truncamento e retransmissão para conectar os processos de remoção de ruído em diferentes resoluções, permitindo a geração de imagens de alta resolução de maneira grosseira a refinada. Além disso, ao integrar convoluções dilatadas e reprogramação de ruído, adaptamos ainda mais os preconceitos do modelo para maior resolução. A versatilidade e eficácia do MegaFusion o tornam universalmente aplicável tanto a modelos de difusão de espaço latente quanto de espaço de pixel, juntamente com outros modelos derivados. Experimentos extensos confirmam que o MegaFusion aumenta significativamente a capacidade dos modelos existentes de produzir imagens de megapixels e vários aspect ratios, exigindo apenas cerca de 40% do custo computacional original.

English

Diffusion models have emerged as frontrunners in text-to-image generation for their impressive capabilities. Nonetheless, their fixed image resolution during training often leads to challenges in high-resolution image generation, such as semantic inaccuracies and object replication. This paper introduces MegaFusion, a novel approach that extends existing diffusion-based text-to-image generation models towards efficient higher-resolution generation without additional fine-tuning or extra adaptation. Specifically, we employ an innovative truncate and relay strategy to bridge the denoising processes across different resolutions, allowing for high-resolution image generation in a coarse-to-fine manner. Moreover, by integrating dilated convolutions and noise re-scheduling, we further adapt the model's priors for higher resolution. The versatility and efficacy of MegaFusion make it universally applicable to both latent-space and pixel-space diffusion models, along with other derivative models. Extensive experiments confirm that MegaFusion significantly boosts the capability of existing models to produce images of megapixels and various aspect ratios, while only requiring about 40% of the original computational cost.