DiffusionBrowser: Interactieve Diffusion Voorbeelden via Multi-Tak Decoders
DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders
December 15, 2025
Auteurs: Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang
cs.AI
Samenvatting
Videodiffusiemodellen hebben een revolutie teweeggebracht in generatieve videosynthese, maar ze zijn onnauwkeurig, traag en kunnen ondoorzichtig zijn tijdens de generatie – waardoor gebruikers lang in het ongewisse blijven. In dit werk stellen we DiffusionBrowser voor, een model-agnostisch, lichtgewicht decoderraamwerk waarmee gebruikers interactief voorbeelden kunnen genereren op elk punt (tijdstap of transformerblok) tijdens het ruisverwijderingsproces. Ons model kan multimodale voorbeeldrepresentaties genereren die RGB- en scene-intrinsieke waarden bevatten met een snelheid van meer dan 4 keer realtime (minder dan 1 seconde voor een video van 4 seconden), die een consistente uitstraling en beweging overdragen naar de uiteindelijke video. Met de getrainde decoder tonen we aan dat het mogelijk is om de generatie op tussenliggende ruisstappen interactief te sturen via stochasticiteitsreinjectie en modale sturing, wat een nieuwe controlecapaciteit ontsluit. Bovendien onderzoeken we het model systematisch met behulp van de geleerde decoders, wat onthult hoe scène-, object- en andere details worden samengesteld en geassembleerd tijdens het anderszins black-box ruisverwijderingsproces.
English
Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.