DiffusionBrowser: Interaktive Diffusionsvorschau via Multi-Branch-Decoder
DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders
December 15, 2025
papers.authors: Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang
cs.AI
papers.abstract
Videodiffusionsmodelle haben die generative Videosynthese revolutioniert, sind jedoch unpräzise, langsam und können während der Generierung undurchsichtig sein – was Nutzer über längere Zeit im Unklaren lässt. In dieser Arbeit stellen wir DiffusionBrowser vor, ein modellagnostisches, leichtgewichtiges Decoder-Framework, das es Nutzern ermöglicht, interaktiv Vorschauen an beliebigen Punkten (Zeitschritt oder Transformer-Block) während des Denoising-Prozesses zu generieren. Unser Modell kann multimodale Vorschau-Repräsentationen erzeugen, die RGB- und Szenenintrinsika bei mehr als 4-facher Echtzeitgeschwindigkeit (weniger als 1 Sekunde für ein 4-Sekunden-Video) umfassen und dabei konsistentes Erscheinungsbild und Bewegung zum endgültigen Video vermitteln. Mit dem trainierten Decoder zeigen wir, dass eine interaktive Steuerung der Generierung in intermediären Rauschschritten durch Stochastizitäts-Reinjektion und modale Lenkung möglich ist, was eine neue Steuerungsfähigkeit eröffnet. Darüber hinaus untersuchen wir das Modell systematisch mithilfe der gelernten Decoder und zeigen auf, wie Szenen, Objekte und andere Details während des ansonsten black-box Denoising-Prozesses komponiert und zusammengesetzt werden.
English
Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.