DiffusionBrowser: Vistas Interactivas de Difusión mediante Decodificadores Multirrama
DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders
December 15, 2025
Autores: Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang
cs.AI
Resumen
Los modelos de difusión de video han revolucionado la síntesis generativa de video, pero son imprecisos, lentos y pueden resultar opacos durante la generación, manteniendo a los usuarios en la oscuridad durante un período prolongado. En este trabajo, proponemos DiffusionBrowser, un marco de trabajo de decodificador ligero y agnóstico al modelo que permite a los usuarios generar vistas previas de forma interactiva en cualquier punto (paso temporal o bloque de transformador) durante el proceso de eliminación de ruido. Nuestro modelo puede generar representaciones de vista previa multimodales que incluyen RGB y propiedades intrínsecas de la escena a más de 4 veces la velocidad en tiempo real (menos de 1 segundo para un video de 4 segundos), transmitiendo una apariencia y movimiento consistentes con el video final. Con el decodificador entrenado, demostramos que es posible guiar interactivamente la generación en pasos de ruido intermedios mediante la reinyección de estocasticidad y la dirección modal, desbloqueando una nueva capacidad de control. Además, analizamos sistemáticamente el modelo utilizando los decodificadores aprendidos, revelando cómo la escena, los objetos y otros detalles se componen y ensamblan durante el proceso de eliminación de ruido que de otro modo sería una caja negra.
English
Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.