DiffusionBrowser：マルチブランチデコーダによるインタラクティブ拡散プレビュー

DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders

December 15, 2025

著者: Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang

cs.AI

要旨

ビデオ拡散モデルは生成的ビデオ合成に革命をもたらしましたが、生成過程が不正確で遅く、不透明であるという課題があり、ユーザーは長時間にわたり生成の進行状況を知ることができません。本研究では、Denoisingプロセス中の任意の時点（タイムステップまたはトランスフォーマーブロック）でインタラクティブにプレビューを生成可能な、モデル非依存の軽量デコーダフレームワーク「DiffusionBrowser」を提案します。本モデルは、最終ビデオと一貫性のある外観と動きを伝達するRGB及びシーン固有情報を含むマルチモーダルなプレビュー表現を、リアルタイム速度の4倍以上（4秒のビデオで1秒未満）で生成できます。学習済みデコーダを用いることで、確率的再注入とモーダルステアリングによる中間ノイズ段階でのインタラクティブな生成誘導が可能となり、新たな制御機能を実現します。さらに、学習済みデコーダを用いてモデルを体系的に解析し、従来ブラックボックスであったDenoisingプロセスにおいて、シーン、オブジェクト、その他の詳細がどのように構成・統合されていくかを明らかにします。

English

Video diffusion models have revolutionized generative video synthesis, but they are imprecise, slow, and can be opaque during generation -- keeping users in the dark for a prolonged period. In this work, we propose DiffusionBrowser, a model-agnostic, lightweight decoder framework that allows users to interactively generate previews at any point (timestep or transformer block) during the denoising process. Our model can generate multi-modal preview representations that include RGB and scene intrinsics at more than 4times real-time speed (less than 1 second for a 4-second video) that convey consistent appearance and motion to the final video. With the trained decoder, we show that it is possible to interactively guide the generation at intermediate noise steps via stochasticity reinjection and modal steering, unlocking a new control capability. Moreover, we systematically probe the model using the learned decoders, revealing how scene, object, and other details are composed and assembled during the otherwise black-box denoising process.