DiffusionBrowser: Интерактивные превью диффузии с помощью многоканальных декодеров
DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders
December 15, 2025
Авторы: Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang
cs.AI
Аннотация
Видеоддиффузионные модели произвели революцию в генеративном синтезе видео, однако они неточны, медленны и могут быть непрозрачными в процессе генерации — оставляя пользователей в неведении в течение длительного времени. В данной работе мы предлагаем DiffusionBrowser — модель-агностичную, легковесную декодерную структуру, которая позволяет пользователям интерактивно генерировать превью в любой точке (временной шаг или блок трансформера) процесса шумоподавления. Наша модель способна генерировать многомодальные превью-представления, включающие RGB и внутренние параметры сцены, со скоростью более чем в 4 раза превышающей реальное время (менее 1 секунды для 4-секундного видео), которые передают согласованные внешний вид и движение итогового видео. С помощью обученного декодера мы демонстрируем возможность интерактивного управления генерацией на промежуточных шагах добавления шума посредством реинжекции стохастичности и модального steering, открывая новую возможность контроля. Кроме того, мы систематически исследуем модель с использованием обученных декодеров, раскрывая, как сцена, объекты и другие детали компонируются и собираются в ходе иначе черно-боксного процесса шумоподавления.
English
Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.