StreamMultiDiffusion: Echtzeit-Interaktive Generierung mit regionsbasierte semantische Steuerung

StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control

March 14, 2024

Autoren: Jaerin Lee, Daniel Sungho Jung, Kanggeon Lee, Kyoung Mu Lee

cs.AI

Zusammenfassung

Der enorme Erfolg von Diffusionsmodellen in der Text-zu-Bild-Synthese hat sie zu vielversprechenden Kandidaten für die nächste Generation von Endbenutzeranwendungen für die Bildgenerierung und -bearbeitung gemacht. Frühere Arbeiten haben sich darauf konzentriert, die Benutzerfreundlichkeit von Diffusionsmodellen zu verbessern, indem die Inferenzzeit reduziert oder die Benutzerinteraktivität erhöht wurde, indem neue, fein abgestufte Steuerelemente wie regionsbasierte Texteingaben ermöglicht wurden. Wir stellen jedoch empirisch fest, dass die Integration beider Ansätze nicht trivial ist und das Potenzial von Diffusionsmodellen begrenzt. Um diese Inkompatibilität zu lösen, präsentieren wir StreamMultiDiffusion, das erste echtzeitfähige regionsbasierte Text-zu-Bild-Generierungsframework. Durch Stabilisierung schneller Inferenztechniken und Umstrukturierung des Modells in eine neu vorgeschlagene Multi-Prompt-Stream-Batch-Architektur erreichen wir eine um den Faktor 10 schnellere Panoramagenerierung als bestehende Lösungen und eine Generierungsgeschwindigkeit von 1,57 FPS in der regionsbasierten Text-zu-Bild-Synthese auf einer einzigen RTX 2080 Ti GPU. Unsere Lösung eröffnet ein neues Paradigma für die interaktive Bildgenerierung namens semantische Palette, bei der hochwertige Bilder in Echtzeit aus mehreren handgezeichneten Regionen generiert werden, die vorgegebene semantische Bedeutungen (z. B. Adler, Mädchen) codieren. Unser Code und die Demo-Anwendung sind verfügbar unter https://github.com/ironjr/StreamMultiDiffusion.

English

The enormous success of diffusion models in text-to-image synthesis has made them promising candidates for the next generation of end-user applications for image generation and editing. Previous works have focused on improving the usability of diffusion models by reducing the inference time or increasing user interactivity by allowing new, fine-grained controls such as region-based text prompts. However, we empirically find that integrating both branches of works is nontrivial, limiting the potential of diffusion models. To solve this incompatibility, we present StreamMultiDiffusion, the first real-time region-based text-to-image generation framework. By stabilizing fast inference techniques and restructuring the model into a newly proposed multi-prompt stream batch architecture, we achieve times 10 faster panorama generation than existing solutions, and the generation speed of 1.57 FPS in region-based text-to-image synthesis on a single RTX 2080 Ti GPU. Our solution opens up a new paradigm for interactive image generation named semantic palette, where high-quality images are generated in real-time from given multiple hand-drawn regions, encoding prescribed semantic meanings (e.g., eagle, girl). Our code and demo application are available at https://github.com/ironjr/StreamMultiDiffusion.