IllumiCraft: Diffusione Unificata di Geometria e Illuminazione per la Generazione Controllabile di Video

Abstract

Sebbene i modelli basati sulla diffusione siano in grado di generare sequenze video di alta qualità e ad alta risoluzione a partire da input testuali o immagini, mancano di un'integrazione esplicita di indizi geometrici nel controllo dell'illuminazione della scena e dell'aspetto visivo tra i fotogrammi. Per affrontare questa limitazione, proponiamo IllumiCraft, un framework di diffusione end-to-end che accetta tre input complementari: (1) mappe video ad alto intervallo dinamico (HDR) per un controllo dettagliato dell'illuminazione; (2) fotogrammi sinteticamente riilluminati con cambiamenti casuali dell'illuminazione (facoltativamente abbinati a un'immagine di riferimento statica dello sfondo) per fornire indizi sull'aspetto; e (3) tracce di punti 3D che catturano informazioni precise sulla geometria 3D. Integrando gli indizi di illuminazione, aspetto e geometria all'interno di un'architettura di diffusione unificata, IllumiCraft genera video temporalmente coerenti allineati con prompt definiti dall'utente. Supporta la riilluminazione video condizionata dallo sfondo e dal testo e offre una fedeltà migliore rispetto ai metodi esistenti di generazione video controllabile. Pagina del progetto: https://yuanze-lin.me/IllumiCraft_page

English

Although diffusion-based models can generate high-quality and high-resolution video sequences from textual or image inputs, they lack explicit integration of geometric cues when controlling scene lighting and visual appearance across frames. To address this limitation, we propose IllumiCraft, an end-to-end diffusion framework accepting three complementary inputs: (1) high-dynamic-range (HDR) video maps for detailed lighting control; (2) synthetically relit frames with randomized illumination changes (optionally paired with a static background reference image) to provide appearance cues; and (3) 3D point tracks that capture precise 3D geometry information. By integrating the lighting, appearance, and geometry cues within a unified diffusion architecture, IllumiCraft generates temporally coherent videos aligned with user-defined prompts. It supports background-conditioned and text-conditioned video relighting and provides better fidelity than existing controllable video generation methods. Project Page: https://yuanze-lin.me/IllumiCraft_page