StreamMultiDiffusion: Geração Interativa em Tempo Real com Controle Semântico Baseado em Regiões

StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control

March 14, 2024

Autores: Jaerin Lee, Daniel Sungho Jung, Kanggeon Lee, Kyoung Mu Lee

cs.AI

Resumo

O enorme sucesso dos modelos de difusão na síntese de texto para imagem os tornou candidatos promissores para a próxima geração de aplicativos de geração e edição de imagens voltados para usuários finais. Trabalhos anteriores concentraram-se em melhorar a usabilidade dos modelos de difusão, reduzindo o tempo de inferência ou aumentando a interatividade do usuário, permitindo novos controles refinados, como prompts de texto baseados em regiões. No entanto, descobrimos empiricamente que integrar ambas as vertentes de trabalho não é trivial, limitando o potencial dos modelos de difusão. Para resolver essa incompatibilidade, apresentamos o StreamMultiDiffusion, o primeiro framework de geração de texto para imagem baseado em regiões em tempo real. Ao estabilizar técnicas de inferência rápida e reestruturar o modelo em uma nova arquitetura de fluxo em lote multiprompt, alcançamos uma geração de panoramas 10 vezes mais rápida do que as soluções existentes e uma velocidade de geração de 1,57 FPS na síntese de texto para imagem baseada em regiões em uma única GPU RTX 2080 Ti. Nossa solução abre um novo paradigma para geração interativa de imagens, chamado paleta semântica, onde imagens de alta qualidade são geradas em tempo real a partir de múltiplas regiões desenhadas à mão, codificando significados semânticos prescritos (por exemplo, águia, garota). Nosso código e aplicativo de demonstração estão disponíveis em https://github.com/ironjr/StreamMultiDiffusion.

English

The enormous success of diffusion models in text-to-image synthesis has made them promising candidates for the next generation of end-user applications for image generation and editing. Previous works have focused on improving the usability of diffusion models by reducing the inference time or increasing user interactivity by allowing new, fine-grained controls such as region-based text prompts. However, we empirically find that integrating both branches of works is nontrivial, limiting the potential of diffusion models. To solve this incompatibility, we present StreamMultiDiffusion, the first real-time region-based text-to-image generation framework. By stabilizing fast inference techniques and restructuring the model into a newly proposed multi-prompt stream batch architecture, we achieve times 10 faster panorama generation than existing solutions, and the generation speed of 1.57 FPS in region-based text-to-image synthesis on a single RTX 2080 Ti GPU. Our solution opens up a new paradigm for interactive image generation named semantic palette, where high-quality images are generated in real-time from given multiple hand-drawn regions, encoding prescribed semantic meanings (e.g., eagle, girl). Our code and demo application are available at https://github.com/ironjr/StreamMultiDiffusion.