IllumiCraft: Geünificeerde geometrie en belichtingsdiffusie voor beheerbare videogeneratie
IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation
June 3, 2025
Auteurs: Yuanze Lin, Yi-Wen Chen, Yi-Hsuan Tsai, Ronald Clark, Ming-Hsuan Yang
cs.AI
Samenvatting
Hoewel diffusiegebaseerde modellen hoogwaardige en hoge-resolutie videosequenties kunnen genereren op basis van tekstuele of beeldinvoer, missen ze expliciete integratie van geometrische aanwijzingen bij het beheersen van scèneverlichting en visuele verschijning over frames heen. Om deze beperking aan te pakken, stellen we IllumiCraft voor, een end-to-end diffusiekader dat drie complementaire invoeren accepteert: (1) high-dynamic-range (HDR) videokaarten voor gedetailleerde lichtregeling; (2) synthetisch herbelichte frames met willekeurige verlichtingsveranderingen (optioneel gepaard met een statische achtergrondreferentieafbeeling) om verschijningsaanwijzingen te bieden; en (3) 3D-punttracks die nauwkeurige 3D-geometrie-informatie vastleggen. Door de verlichtings-, verschijnings- en geometrische aanwijzingen te integreren binnen een geünificeerde diffusiearchitectuur, genereert IllumiCraft temporeel coherente video's die zijn afgestemd op door de gebruiker gedefinieerde prompts. Het ondersteunt achtergrond-geconditioneerde en tekst-geconditioneerde videoherbelichting en biedt een betere getrouwheid dan bestaande beheersbare videogeneratiemethoden. Projectpagina: https://yuanze-lin.me/IllumiCraft_page
English
Although diffusion-based models can generate high-quality and high-resolution
video sequences from textual or image inputs, they lack explicit integration of
geometric cues when controlling scene lighting and visual appearance across
frames. To address this limitation, we propose IllumiCraft, an end-to-end
diffusion framework accepting three complementary inputs: (1)
high-dynamic-range (HDR) video maps for detailed lighting control; (2)
synthetically relit frames with randomized illumination changes (optionally
paired with a static background reference image) to provide appearance cues;
and (3) 3D point tracks that capture precise 3D geometry information. By
integrating the lighting, appearance, and geometry cues within a unified
diffusion architecture, IllumiCraft generates temporally coherent videos
aligned with user-defined prompts. It supports background-conditioned and
text-conditioned video relighting and provides better fidelity than existing
controllable video generation methods. Project Page:
https://yuanze-lin.me/IllumiCraft_page