StreamMultiDiffusion: Интерактивная генерация в реальном времени с контролем семантики на основе регионов

StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control

March 14, 2024

Авторы: Jaerin Lee, Daniel Sungho Jung, Kanggeon Lee, Kyoung Mu Lee

cs.AI

Аннотация

Огромный успех моделей диффузии в синтезе текста в изображение сделал их многообещающими кандидатами для следующего поколения приложений конечного пользователя для генерации и редактирования изображений. Предыдущие работы сосредоточились на улучшении удобства использования моделей диффузии путем сокращения времени вывода или увеличения интерактивности пользователя, позволяя новые, более детализированные контроли, такие как текстовые подсказки на основе регионов. Однако мы эмпирически обнаружили, что интеграция обеих ветвей работ является нетривиальной, что ограничивает потенциал моделей диффузии. Для решения этой несовместимости мы представляем StreamMultiDiffusion, первую в реальном времени рамочную систему генерации изображений из текста на основе регионов. Стабилизируя быстрые методы вывода и перестраивая модель во вновь предложенную многозадачную потоковую архитектуру, мы достигаем в 10 раз быстрее генерации панорам, чем существующие решения, и скорость генерации 1,57 кадра в секунду в синтезе изображений из текста на основе регионов на одном графическом процессоре RTX 2080 Ti. Наше решение открывает новую парадигму для интерактивной генерации изображений под названием семантическая палитра, где высококачественные изображения генерируются в реальном времени из заданных нескольких регионов, кодируя предписанные семантические значения (например, орел, девушка). Наш код и демонстрационное приложение доступны по адресу https://github.com/ironjr/StreamMultiDiffusion.

English

The enormous success of diffusion models in text-to-image synthesis has made them promising candidates for the next generation of end-user applications for image generation and editing. Previous works have focused on improving the usability of diffusion models by reducing the inference time or increasing user interactivity by allowing new, fine-grained controls such as region-based text prompts. However, we empirically find that integrating both branches of works is nontrivial, limiting the potential of diffusion models. To solve this incompatibility, we present StreamMultiDiffusion, the first real-time region-based text-to-image generation framework. By stabilizing fast inference techniques and restructuring the model into a newly proposed multi-prompt stream batch architecture, we achieve times 10 faster panorama generation than existing solutions, and the generation speed of 1.57 FPS in region-based text-to-image synthesis on a single RTX 2080 Ti GPU. Our solution opens up a new paradigm for interactive image generation named semantic palette, where high-quality images are generated in real-time from given multiple hand-drawn regions, encoding prescribed semantic meanings (e.g., eagle, girl). Our code and demo application are available at https://github.com/ironjr/StreamMultiDiffusion.