PanGu-Draw: Avançando na Síntese Eficiente de Recursos de Texto para Imagem com Treinamento Desacoplado no Tempo e Coop-Difusão Reutilizável

PanGu-Draw: Advancing Resource-Efficient Text-to-Image Synthesis with Time-Decoupled Training and Reusable Coop-Diffusion

December 27, 2023

Autores: Guansong Lu, Yuanfan Guo, Jianhua Han, Minzhe Niu, Yihan Zeng, Songcen Xu, Zeyi Huang, Zhao Zhong, Wei Zhang, Hang Xu

cs.AI

Resumo

Os atuais modelos de difusão em larga escala representam um salto gigantesco na síntese condicional de imagens, sendo capazes de interpretar diversas pistas, como texto, poses humanas e bordas. No entanto, sua dependência de recursos computacionais substanciais e da coleta extensiva de dados continua sendo um gargalo. Por outro lado, a integração de modelos de difusão existentes, cada um especializado para diferentes controles e operando em espaços latentes únicos, apresenta um desafio devido a resoluções de imagem incompatíveis e estruturas de incorporação de espaços latentes, dificultando seu uso conjunto. Para abordar essas limitações, apresentamos o "PanGu-Draw", um novo modelo de difusão latente projetado para síntese eficiente de texto em imagem que acomoda habilmente múltiplos sinais de controle. Primeiro, propomos uma Estratégia de Treinamento com Desacoplamento Temporal eficiente em recursos, que divide o modelo monolítico de texto em imagem em geradores de estrutura e textura. Cada gerador é treinado usando um regime que maximiza a utilização de dados e a eficiência computacional, reduzindo a preparação de dados em 48% e os recursos de treinamento em 51%. Em segundo lugar, introduzimos o "Coop-Diffusion", um algoritmo que permite o uso cooperativo de vários modelos de difusão pré-treinados com diferentes espaços latentes e resoluções predefinidas dentro de um processo unificado de remoção de ruído. Isso possibilita a síntese de imagens com múltiplos controles em resoluções arbitrárias sem a necessidade de dados adicionais ou retreinamento. Validações empíricas do PanGu-Draw mostram sua excepcional capacidade na geração de imagens a partir de texto e na síntese de imagens com múltiplos controles, sugerindo uma direção promissora para futuras eficiências no treinamento de modelos e versatilidade na geração. O maior modelo T2I de 5B do PanGu-Draw foi lançado na plataforma Ascend. Página do projeto: https://pangu-draw.github.io

English

Current large-scale diffusion models represent a giant leap forward in conditional image synthesis, capable of interpreting diverse cues like text, human poses, and edges. However, their reliance on substantial computational resources and extensive data collection remains a bottleneck. On the other hand, the integration of existing diffusion models, each specialized for different controls and operating in unique latent spaces, poses a challenge due to incompatible image resolutions and latent space embedding structures, hindering their joint use. Addressing these constraints, we present "PanGu-Draw", a novel latent diffusion model designed for resource-efficient text-to-image synthesis that adeptly accommodates multiple control signals. We first propose a resource-efficient Time-Decoupling Training Strategy, which splits the monolithic text-to-image model into structure and texture generators. Each generator is trained using a regimen that maximizes data utilization and computational efficiency, cutting data preparation by 48% and reducing training resources by 51%. Secondly, we introduce "Coop-Diffusion", an algorithm that enables the cooperative use of various pre-trained diffusion models with different latent spaces and predefined resolutions within a unified denoising process. This allows for multi-control image synthesis at arbitrary resolutions without the necessity for additional data or retraining. Empirical validations of Pangu-Draw show its exceptional prowess in text-to-image and multi-control image generation, suggesting a promising direction for future model training efficiencies and generation versatility. The largest 5B T2I PanGu-Draw model is released on the Ascend platform. Project page: https://pangu-draw.github.io