PanGu-Draw: Vooruitgang in Resource-Efficiënte Tekst-naar-Beeld Synthese met Tijd-Ontkoppelde Training en Herbruikbare Coop-Diffusie

PanGu-Draw: Advancing Resource-Efficient Text-to-Image Synthesis with Time-Decoupled Training and Reusable Coop-Diffusion

December 27, 2023

Auteurs: Guansong Lu, Yuanfan Guo, Jianhua Han, Minzhe Niu, Yihan Zeng, Songcen Xu, Zeyi Huang, Zhao Zhong, Wei Zhang, Hang Xu

cs.AI

Samenvatting

Huidige grootschalige diffusiemodellen vertegenwoordigen een enorme sprong voorwaarts in conditionele beeldgeneratie, waarbij ze in staat zijn om diverse signalen zoals tekst, menselijke poses en randen te interpreteren. Hun afhankelijkheid van aanzienlijke rekenkracht en uitgebreide dataverzameling blijft echter een knelpunt. Aan de andere kant vormt de integratie van bestaande diffusiemodellen, die elk gespecialiseerd zijn voor verschillende controles en werken in unieke latente ruimtes, een uitdaging vanwege incompatibele beeldresoluties en latente ruimte-embeddingstructuren, wat hun gezamenlijk gebruik belemmert. Om deze beperkingen aan te pakken, presenteren we "PanGu-Draw", een nieuw latent diffusiemodel ontworpen voor resource-efficiënte tekst-naar-beeld synthese dat meerdere controlesignalen naadloos ondersteunt. We introduceren eerst een resource-efficiënte Time-Decoupling Trainingsstrategie, die het monolitische tekst-naar-beeld model opsplitst in structuur- en textuurgeneratoren. Elke generator wordt getraind met een regime dat data-gebruik en rekenkracht maximaliseert, waardoor de data voorbereiding met 48% wordt verminderd en de trainingsresources met 51% worden gereduceerd. Ten tweede introduceren we "Coop-Diffusion", een algoritme dat het samenwerkend gebruik van verschillende vooraf getrainde diffusiemodellen met verschillende latente ruimtes en vooraf gedefinieerde resoluties mogelijk maakt binnen een uniform denoisingsproces. Dit maakt multi-controle beeldgeneratie bij willekeurige resoluties mogelijk zonder de noodzaak van extra data of hertraining. Empirische validaties van PanGu-Draw tonen zijn uitzonderlijke vaardigheden in tekst-naar-beeld en multi-controle beeldgeneratie, wat een veelbelovende richting suggereert voor toekomstige modeltrainings efficiëntie en generatie veelzijdigheid. Het grootste 5B T2I PanGu-Draw model is vrijgegeven op het Ascend platform. Projectpagina: https://pangu-draw.github.io

English

Current large-scale diffusion models represent a giant leap forward in conditional image synthesis, capable of interpreting diverse cues like text, human poses, and edges. However, their reliance on substantial computational resources and extensive data collection remains a bottleneck. On the other hand, the integration of existing diffusion models, each specialized for different controls and operating in unique latent spaces, poses a challenge due to incompatible image resolutions and latent space embedding structures, hindering their joint use. Addressing these constraints, we present "PanGu-Draw", a novel latent diffusion model designed for resource-efficient text-to-image synthesis that adeptly accommodates multiple control signals. We first propose a resource-efficient Time-Decoupling Training Strategy, which splits the monolithic text-to-image model into structure and texture generators. Each generator is trained using a regimen that maximizes data utilization and computational efficiency, cutting data preparation by 48% and reducing training resources by 51%. Secondly, we introduce "Coop-Diffusion", an algorithm that enables the cooperative use of various pre-trained diffusion models with different latent spaces and predefined resolutions within a unified denoising process. This allows for multi-control image synthesis at arbitrary resolutions without the necessity for additional data or retraining. Empirical validations of Pangu-Draw show its exceptional prowess in text-to-image and multi-control image generation, suggesting a promising direction for future model training efficiencies and generation versatility. The largest 5B T2I PanGu-Draw model is released on the Ascend platform. Project page: https://pangu-draw.github.io