DiffusionBrowser : Aperçus interactifs de la diffusion via des décodeurs multi-branches

DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders

December 15, 2025

papers.authors: Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang

cs.AI

papers.abstract

Les modèles de diffusion vidéo ont révolutionné la synthèse vidéo générative, mais ils manquent de précision, sont lents et peuvent manquer de transparence pendant la génération, laissant les utilisateurs dans l'incertitude pendant une période prolongée. Dans ce travail, nous proposons DiffusionBrowser, un framework de décodeur léger et agnostique au modèle, qui permet aux utilisateurs de générer interactivement des prévisualisations à n'importe quel point (étape de bruit ou bloc transformeur) pendant le processus de débruitage. Notre modèle peut générer des représentations de prévisualisation multimodales incluant le RVB et des caractéristiques intrinsèques de scène à une vitesse supérieure à 4 fois le temps réel (moins d'une seconde pour une vidéo de 4 secondes), transmettant une apparence et un mouvement cohérents avec la vidéo finale. Grâce au décodeur entraîné, nous montrons qu'il est possible de guider interactivement la génération à des étapes de bruit intermédiaires via la réinjection de stochasticité et le pilotage modal, débloquant une nouvelle capacité de contrôle. De plus, nous sondons systématiquement le modèle à l'aide des décodeurs appris, révélant comment la scène, les objets et autres détails sont composés et assemblés pendant le processus de débruitage autrement considéré comme une boîte noire.

English

Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.