PanGu-Draw: Fortschritt in der ressourceneffizienten Text-zu-Bild-Synthese durch zeitlich entkoppeltes Training und wiederverwendbare Coop-Diffusion

PanGu-Draw: Advancing Resource-Efficient Text-to-Image Synthesis with Time-Decoupled Training and Reusable Coop-Diffusion

December 27, 2023

Autoren: Guansong Lu, Yuanfan Guo, Jianhua Han, Minzhe Niu, Yihan Zeng, Songcen Xu, Zeyi Huang, Zhao Zhong, Wei Zhang, Hang Xu

cs.AI

Zusammenfassung

Aktuelle großskalige Diffusionsmodelle stellen einen gewaltigen Fortschritt in der bedingten Bildsynthese dar, da sie in der Lage sind, vielfältige Hinweise wie Text, menschliche Posen und Kanten zu interpretieren. Ihre Abhängigkeit von erheblichen Rechenressourcen und umfangreichen Datensammlungen bleibt jedoch ein Engpass. Andererseits stellt die Integration bestehender Diffusionsmodelle, die jeweils für unterschiedliche Steuerungen spezialisiert sind und in einzigartigen latenten Räumen operieren, eine Herausforderung dar, da inkompatible Bildauflösungen und latente Raum-Einbettungsstrukturen ihre gemeinsame Nutzung behindern. Um diese Einschränkungen zu überwinden, präsentieren wir "PanGu-Draw", ein neuartiges latentes Diffusionsmodell, das für ressourceneffiziente Text-zu-Bild-Synthese entwickelt wurde und geschickt mehrere Steuersignale berücksichtigt. Zunächst schlagen wir eine ressourceneffiziente Zeit-Entkopplungs-Trainingsstrategie vor, die das monolithische Text-zu-Bild-Modell in Struktur- und Texturgeneratoren aufteilt. Jeder Generator wird mit einem Trainingsregime trainiert, das die Datennutzung und Recheneffizienz maximiert, wodurch die Datenvorbereitung um 48 % reduziert und die Trainingsressourcen um 51 % verringert werden. Zweitens führen wir "Coop-Diffusion" ein, einen Algorithmus, der die kooperative Nutzung verschiedener vortrainierter Diffusionsmodelle mit unterschiedlichen latenten Räumen und vordefinierten Auflösungen innerhalb eines einheitlichen Denoising-Prozesses ermöglicht. Dies ermöglicht die Multi-Control-Bildsynthese bei beliebigen Auflösungen ohne die Notwendigkeit zusätzlicher Daten oder eines erneuten Trainings. Empirische Validierungen von PanGu-Draw zeigen seine außergewöhnliche Fähigkeit in der Text-zu-Bild- und Multi-Control-Bildgenerierung und deuten auf eine vielversprechende Richtung für zukünftige Modelltrainings-Effizienzen und Generierungsvielfalt hin. Das größte 5B T2I PanGu-Draw-Modell wurde auf der Ascend-Plattform veröffentlicht. Projektseite: https://pangu-draw.github.io

English

Current large-scale diffusion models represent a giant leap forward in conditional image synthesis, capable of interpreting diverse cues like text, human poses, and edges. However, their reliance on substantial computational resources and extensive data collection remains a bottleneck. On the other hand, the integration of existing diffusion models, each specialized for different controls and operating in unique latent spaces, poses a challenge due to incompatible image resolutions and latent space embedding structures, hindering their joint use. Addressing these constraints, we present "PanGu-Draw", a novel latent diffusion model designed for resource-efficient text-to-image synthesis that adeptly accommodates multiple control signals. We first propose a resource-efficient Time-Decoupling Training Strategy, which splits the monolithic text-to-image model into structure and texture generators. Each generator is trained using a regimen that maximizes data utilization and computational efficiency, cutting data preparation by 48% and reducing training resources by 51%. Secondly, we introduce "Coop-Diffusion", an algorithm that enables the cooperative use of various pre-trained diffusion models with different latent spaces and predefined resolutions within a unified denoising process. This allows for multi-control image synthesis at arbitrary resolutions without the necessity for additional data or retraining. Empirical validations of Pangu-Draw show its exceptional prowess in text-to-image and multi-control image generation, suggesting a promising direction for future model training efficiencies and generation versatility. The largest 5B T2I PanGu-Draw model is released on the Ascend platform. Project page: https://pangu-draw.github.io