IllumiCraft: 制御可能なビデオ生成のための統合ジオメトリと照明拡散

要旨

拡散モデルはテキストや画像入力から高品質で高解像度のビデオシーケンスを生成できるが、シーンの照明やフレーム間の視覚的外観を制御する際に幾何学的な手がかりを明示的に統合していない。この制限に対処するため、我々はIllumiCraftを提案する。これは、3つの補完的な入力を受け入れるエンドツーエンドの拡散フレームワークである：(1)詳細な照明制御のためのハイダイナミックレンジ（HDR）ビデオマップ、(2)ランダム化された照明変化を伴う合成リライトフレーム（オプションで静的背景参照画像とペアに可能）による外観の手がかり、(3)正確な3D幾何学情報を捕捉する3Dポイントトラック。照明、外観、幾何学の手がかりを統一された拡散アーキテクチャ内に統合することで、IllumiCraftはユーザー定義のプロンプトに沿った時間的に一貫したビデオを生成する。背景条件付きおよびテキスト条件付きのビデオリライティングをサポートし、既存の制御可能なビデオ生成手法よりも優れた忠実度を提供する。プロジェクトページ：https://yuanze-lin.me/IllumiCraft_page

English

Although diffusion-based models can generate high-quality and high-resolution video sequences from textual or image inputs, they lack explicit integration of geometric cues when controlling scene lighting and visual appearance across frames. To address this limitation, we propose IllumiCraft, an end-to-end diffusion framework accepting three complementary inputs: (1) high-dynamic-range (HDR) video maps for detailed lighting control; (2) synthetically relit frames with randomized illumination changes (optionally paired with a static background reference image) to provide appearance cues; and (3) 3D point tracks that capture precise 3D geometry information. By integrating the lighting, appearance, and geometry cues within a unified diffusion architecture, IllumiCraft generates temporally coherent videos aligned with user-defined prompts. It supports background-conditioned and text-conditioned video relighting and provides better fidelity than existing controllable video generation methods. Project Page: https://yuanze-lin.me/IllumiCraft_page

IllumiCraft: 制御可能なビデオ生成のための統合ジオメトリと照明拡散

IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation

要旨

Support