IllumiCraft: Difusão Unificada de Geometria e Iluminação para Geração Controlável de Vídeo

IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation

June 3, 2025

Autores: Yuanze Lin, Yi-Wen Chen, Yi-Hsuan Tsai, Ronald Clark, Ming-Hsuan Yang

cs.AI

Resumo

Embora os modelos baseados em difusão possam gerar sequências de vídeo de alta qualidade e alta resolução a partir de entradas textuais ou de imagem, eles carecem de integração explícita de pistas geométricas ao controlar a iluminação da cena e a aparência visual entre os quadros. Para abordar essa limitação, propomos o IllumiCraft, uma estrutura de difusão de ponta a ponta que aceita três entradas complementares: (1) mapas de vídeo de alta faixa dinâmica (HDR) para controle detalhado da iluminação; (2) quadros sinteticamente reiluminados com alterações aleatórias de iluminação (opcionalmente emparelhados com uma imagem de referência de fundo estático) para fornecer pistas de aparência; e (3) trilhas de pontos 3D que capturam informações precisas de geometria 3D. Ao integrar as pistas de iluminação, aparência e geometria em uma arquitetura de difusão unificada, o IllumiCraft gera vídeos temporalmente coerentes alinhados com prompts definidos pelo usuário. Ele suporta reiluminação de vídeo condicionada ao fundo e ao texto, oferecendo melhor fidelidade do que os métodos existentes de geração de vídeo controlável. Página do Projeto: https://yuanze-lin.me/IllumiCraft_page

English

Although diffusion-based models can generate high-quality and high-resolution video sequences from textual or image inputs, they lack explicit integration of geometric cues when controlling scene lighting and visual appearance across frames. To address this limitation, we propose IllumiCraft, an end-to-end diffusion framework accepting three complementary inputs: (1) high-dynamic-range (HDR) video maps for detailed lighting control; (2) synthetically relit frames with randomized illumination changes (optionally paired with a static background reference image) to provide appearance cues; and (3) 3D point tracks that capture precise 3D geometry information. By integrating the lighting, appearance, and geometry cues within a unified diffusion architecture, IllumiCraft generates temporally coherent videos aligned with user-defined prompts. It supports background-conditioned and text-conditioned video relighting and provides better fidelity than existing controllable video generation methods. Project Page: https://yuanze-lin.me/IllumiCraft_page