MegaFusion: Расширение моделей диффузии для генерации изображений более высокого разрешения без дополнительной настройки.

MegaFusion: Extend Diffusion Models towards Higher-resolution Image Generation without Further Tuning

August 20, 2024

Авторы: Haoning Wu, Shaocheng Shen, Qiang Hu, Xiaoyun Zhang, Ya Zhang, Yanfeng Wang

cs.AI

Аннотация

Модели диффузии выделяются среди лидеров в генерации текста в изображение благодаря их впечатляющим возможностям. Тем не менее, фиксированное разрешение изображения во время обучения часто приводит к вызовам в генерации изображений высокого разрешения, таким как семантические неточности и дублирование объектов. В данной статье представлен MegaFusion, новый подход, который расширяет существующие модели генерации текста в изображение на основе диффузии для эффективной генерации изображений более высокого разрешения без дополнительной настройки или дополнительной адаптации. Конкретно, мы используем инновационную стратегию обрезки и ретрансляции для объединения процессов денойзинга на разных разрешениях, что позволяет генерировать изображения высокого разрешения методом от грубого к точному. Более того, интегрируя дилатированные свертки и перепланировку шума, мы дополнительно адаптируем априорные знания модели для более высокого разрешения. Универсальность и эффективность MegaFusion позволяют его универсальное применение как к моделям диффузии в латентном пространстве, так и в пространстве пикселей, а также к другим производным моделям. Обширные эксперименты подтверждают, что MegaFusion значительно увеличивает возможности существующих моделей в производстве изображений мегапиксельного разрешения и различных соотношений сторон, требуя только около 40% от первоначальной вычислительной стоимости.

English

Diffusion models have emerged as frontrunners in text-to-image generation for their impressive capabilities. Nonetheless, their fixed image resolution during training often leads to challenges in high-resolution image generation, such as semantic inaccuracies and object replication. This paper introduces MegaFusion, a novel approach that extends existing diffusion-based text-to-image generation models towards efficient higher-resolution generation without additional fine-tuning or extra adaptation. Specifically, we employ an innovative truncate and relay strategy to bridge the denoising processes across different resolutions, allowing for high-resolution image generation in a coarse-to-fine manner. Moreover, by integrating dilated convolutions and noise re-scheduling, we further adapt the model's priors for higher resolution. The versatility and efficacy of MegaFusion make it universally applicable to both latent-space and pixel-space diffusion models, along with other derivative models. Extensive experiments confirm that MegaFusion significantly boosts the capability of existing models to produce images of megapixels and various aspect ratios, while only requiring about 40% of the original computational cost.