IllumiCraft : Diffusion unifiée de géométrie et d'illumination pour la génération contrôlée de vidéos

IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation

June 3, 2025

Auteurs: Yuanze Lin, Yi-Wen Chen, Yi-Hsuan Tsai, Ronald Clark, Ming-Hsuan Yang

cs.AI

Résumé

Bien que les modèles basés sur la diffusion soient capables de générer des séquences vidéo de haute qualité et haute résolution à partir d'entrées textuelles ou d'images, ils manquent d'une intégration explicite des indices géométriques lors du contrôle de l'éclairage des scènes et de l'apparence visuelle entre les images. Pour pallier cette limitation, nous proposons IllumiCraft, un framework de diffusion de bout en bout acceptant trois entrées complémentaires : (1) des cartes vidéo à haute plage dynamique (HDR) pour un contrôle détaillé de l'éclairage ; (2) des images synthétiquement rééclairées avec des variations d'illumination aléatoires (optionnellement associées à une image de référence de fond statique) pour fournir des indices d'apparence ; et (3) des pistes de points 3D qui capturent des informations géométriques 3D précises. En intégrant les indices d'éclairage, d'apparence et de géométrie au sein d'une architecture de diffusion unifiée, IllumiCraft génère des vidéos temporellement cohérentes alignées avec les prompts définis par l'utilisateur. Il prend en charge le rééclairage vidéo conditionné par le fond et par le texte, et offre une meilleure fidélité que les méthodes existantes de génération vidéo contrôlée. Page du projet : https://yuanze-lin.me/IllumiCraft_page

English

Although diffusion-based models can generate high-quality and high-resolution video sequences from textual or image inputs, they lack explicit integration of geometric cues when controlling scene lighting and visual appearance across frames. To address this limitation, we propose IllumiCraft, an end-to-end diffusion framework accepting three complementary inputs: (1) high-dynamic-range (HDR) video maps for detailed lighting control; (2) synthetically relit frames with randomized illumination changes (optionally paired with a static background reference image) to provide appearance cues; and (3) 3D point tracks that capture precise 3D geometry information. By integrating the lighting, appearance, and geometry cues within a unified diffusion architecture, IllumiCraft generates temporally coherent videos aligned with user-defined prompts. It supports background-conditioned and text-conditioned video relighting and provides better fidelity than existing controllable video generation methods. Project Page: https://yuanze-lin.me/IllumiCraft_page