DiffusionBrowser: Anteprime Interattive di Diffusion tramite Decoder Multi-Ramo
DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders
December 15, 2025
Autori: Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang
cs.AI
Abstract
I modelli di diffusione video hanno rivoluzionato la sintesi video generativa, ma sono imprecisi, lenti e possono risultare opachi durante la generazione, mantenendo gli utenti all'oscuro per un periodo prolungato. In questo lavoro, proponiamo DiffusionBrowser, un framework decodificatore leggero e indipendente dal modello, che consente agli utenti di generare in modo interattivo anteprime in qualsiasi punto (timestep o blocco transformer) durante il processo di denoising. Il nostro modello può generare rappresentazioni di anteprime multimodali che includono RGB e dati intrinseci della scena a una velocità superiore a 4 volte il tempo reale (meno di 1 secondo per un video di 4 secondi), le quali trasmettono un aspetto e un movimento coerenti con il video finale. Grazie al decodificatore addestrato, dimostriamo che è possibile guidare interattivamente la generazione a passi di rumore intermedi tramite reiniezione della stocasticità e orientamento modale, sbloccando una nuova capacità di controllo. Inoltre, analizziamo sistematicamente il modello utilizzando i decodificatori appresi, rivelando come la scena, gli oggetti e altri dettagli vengano composti e assemblati durante il processo di denoising che altrimenti rimarrebbe una scatola nera.
English
Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.