PanGu-Draw : Faire progresser la synthèse texte-image économe en ressources grâce à un entraînement découplé dans le temps et une Coop-Diffusion réutilisable

PanGu-Draw: Advancing Resource-Efficient Text-to-Image Synthesis with Time-Decoupled Training and Reusable Coop-Diffusion

December 27, 2023

Auteurs: Guansong Lu, Yuanfan Guo, Jianhua Han, Minzhe Niu, Yihan Zeng, Songcen Xu, Zeyi Huang, Zhao Zhong, Wei Zhang, Hang Xu

cs.AI

Résumé

Les modèles de diffusion à grande échelle actuels représentent un bond en avant considérable dans la synthèse d'images conditionnelles, capables d'interpréter des indices variés tels que le texte, les poses humaines et les contours. Cependant, leur dépendance à des ressources computationnelles substantielles et à une collecte de données extensive reste un goulot d'étranglement. Par ailleurs, l'intégration de modèles de diffusion existants, chacun spécialisé pour différents contrôles et opérant dans des espaces latents uniques, pose un défi en raison de résolutions d'images incompatibles et de structures d'encodage d'espaces latents divergentes, entravant leur utilisation conjointe. Pour répondre à ces contraintes, nous présentons "PanGu-Draw", un nouveau modèle de diffusion latente conçu pour une synthèse texte-image économe en ressources, capable de s'adapter habilement à plusieurs signaux de contrôle. Nous proposons d'abord une stratégie de formation efficace en ressources appelée "Time-Decoupling Training Strategy", qui divise le modèle monolithique texte-image en générateurs de structure et de texture. Chaque générateur est formé selon un régime qui maximise l'utilisation des données et l'efficacité computationnelle, réduisant la préparation des données de 48% et les ressources de formation de 51%. Ensuite, nous introduisons "Coop-Diffusion", un algorithme qui permet l'utilisation coopérative de divers modèles de diffusion pré-entraînés avec différents espaces latents et résolutions prédéfinies dans un processus de débruitage unifié. Cela permet une synthèse d'images multi-contrôles à des résolutions arbitraires sans nécessiter de données supplémentaires ou de réentraînement. Les validations empiriques de PanGu-Draw montrent sa capacité exceptionnelle dans la génération d'images texte-image et multi-contrôles, suggérant une direction prometteuse pour l'efficacité future de la formation des modèles et la polyvalence de la génération. Le plus grand modèle T2I PanGu-Draw de 5B est publié sur la plateforme Ascend. Page du projet : https://pangu-draw.github.io

English

Current large-scale diffusion models represent a giant leap forward in conditional image synthesis, capable of interpreting diverse cues like text, human poses, and edges. However, their reliance on substantial computational resources and extensive data collection remains a bottleneck. On the other hand, the integration of existing diffusion models, each specialized for different controls and operating in unique latent spaces, poses a challenge due to incompatible image resolutions and latent space embedding structures, hindering their joint use. Addressing these constraints, we present "PanGu-Draw", a novel latent diffusion model designed for resource-efficient text-to-image synthesis that adeptly accommodates multiple control signals. We first propose a resource-efficient Time-Decoupling Training Strategy, which splits the monolithic text-to-image model into structure and texture generators. Each generator is trained using a regimen that maximizes data utilization and computational efficiency, cutting data preparation by 48% and reducing training resources by 51%. Secondly, we introduce "Coop-Diffusion", an algorithm that enables the cooperative use of various pre-trained diffusion models with different latent spaces and predefined resolutions within a unified denoising process. This allows for multi-control image synthesis at arbitrary resolutions without the necessity for additional data or retraining. Empirical validations of Pangu-Draw show its exceptional prowess in text-to-image and multi-control image generation, suggesting a promising direction for future model training efficiencies and generation versatility. The largest 5B T2I PanGu-Draw model is released on the Ascend platform. Project page: https://pangu-draw.github.io