StreamMultiDiffusion: Generazione Interattiva in Tempo Reale con Controllo Semantico Basato su Regioni

StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control

March 14, 2024

Autori: Jaerin Lee, Daniel Sungho Jung, Kanggeon Lee, Kyoung Mu Lee

cs.AI

Abstract

L'enorme successo dei modelli di diffusione nella sintesi di immagini da testo li ha resi candidati promettenti per la prossima generazione di applicazioni per utenti finali nella generazione e modifica di immagini. I lavori precedenti si sono concentrati sul miglioramento dell'usabilità dei modelli di diffusione riducendo il tempo di inferenza o aumentando l'interattività dell'utente attraverso nuovi controlli granulari come prompt testuali basati su regioni. Tuttavia, empiricamente riscontriamo che integrare entrambi i filoni di ricerca non è banale, limitando il potenziale dei modelli di diffusione. Per risolvere questa incompatibilità, presentiamo StreamMultiDiffusion, il primo framework in tempo reale per la generazione di immagini da testo basata su regioni. Stabilizzando tecniche di inferenza veloce e ristrutturando il modello in una nuova architettura batch multi-prompt stream, otteniamo una generazione di panoramiche 10 volte più veloce rispetto alle soluzioni esistenti e una velocità di generazione di 1,57 FPS nella sintesi di immagini da testo basata su regioni su una singola GPU RTX 2080 Ti. La nostra soluzione apre un nuovo paradigma per la generazione interattiva di immagini chiamato tavolozza semantica, in cui immagini di alta qualità vengono generate in tempo reale da più regioni disegnate a mano, codificando significati semantici prescritti (ad esempio, aquila, ragazza). Il nostro codice e l'applicazione demo sono disponibili su https://github.com/ironjr/StreamMultiDiffusion.

English

The enormous success of diffusion models in text-to-image synthesis has made them promising candidates for the next generation of end-user applications for image generation and editing. Previous works have focused on improving the usability of diffusion models by reducing the inference time or increasing user interactivity by allowing new, fine-grained controls such as region-based text prompts. However, we empirically find that integrating both branches of works is nontrivial, limiting the potential of diffusion models. To solve this incompatibility, we present StreamMultiDiffusion, the first real-time region-based text-to-image generation framework. By stabilizing fast inference techniques and restructuring the model into a newly proposed multi-prompt stream batch architecture, we achieve times 10 faster panorama generation than existing solutions, and the generation speed of 1.57 FPS in region-based text-to-image synthesis on a single RTX 2080 Ti GPU. Our solution opens up a new paradigm for interactive image generation named semantic palette, where high-quality images are generated in real-time from given multiple hand-drawn regions, encoding prescribed semantic meanings (e.g., eagle, girl). Our code and demo application are available at https://github.com/ironjr/StreamMultiDiffusion.