IllumiCraft: Vereinheitlichte Geometrie- und Beleuchtungsdiffusion für kontrollierbare Videogenerierung
IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation
June 3, 2025
Autoren: Yuanze Lin, Yi-Wen Chen, Yi-Hsuan Tsai, Ronald Clark, Ming-Hsuan Yang
cs.AI
Zusammenfassung
Obwohl diffusionsbasierte Modelle hochwertige und hochauflösende Videosequenzen aus textuellen oder bildlichen Eingaben generieren können, fehlt ihnen die explizite Integration geometrischer Hinweise bei der Steuerung der Szenenbeleuchtung und des visuellen Erscheinungsbilds über die Frames hinweg. Um diese Einschränkung zu überwinden, schlagen wir IllumiCraft vor, ein end-to-end Diffusionsframework, das drei komplementäre Eingaben akzeptiert: (1) High-Dynamic-Range (HDR)-Videokarten zur detaillierten Lichtsteuerung; (2) synthetisch neu beleuchtete Frames mit zufälligen Beleuchtungsänderungen (optional gepaart mit einem statischen Hintergrundreferenzbild), um Erscheinungshinweise zu liefern; und (3) 3D-Punktspuren, die präzise 3D-Geometrieinformationen erfassen. Durch die Integration der Beleuchtungs-, Erscheinungs- und Geometriehinweise innerhalb einer einheitlichen Diffusionsarchitektur generiert IllumiCraft zeitlich kohärente Videos, die mit benutzerdefinierten Eingabeaufforderungen übereinstimmen. Es unterstützt hintergrundbedingte und textbedingte Videoneubeleuchtung und bietet eine bessere Detailtreue als bestehende Methoden zur kontrollierbaren Videogenerierung. Projektseite: https://yuanze-lin.me/IllumiCraft_page
English
Although diffusion-based models can generate high-quality and high-resolution
video sequences from textual or image inputs, they lack explicit integration of
geometric cues when controlling scene lighting and visual appearance across
frames. To address this limitation, we propose IllumiCraft, an end-to-end
diffusion framework accepting three complementary inputs: (1)
high-dynamic-range (HDR) video maps for detailed lighting control; (2)
synthetically relit frames with randomized illumination changes (optionally
paired with a static background reference image) to provide appearance cues;
and (3) 3D point tracks that capture precise 3D geometry information. By
integrating the lighting, appearance, and geometry cues within a unified
diffusion architecture, IllumiCraft generates temporally coherent videos
aligned with user-defined prompts. It supports background-conditioned and
text-conditioned video relighting and provides better fidelity than existing
controllable video generation methods. Project Page:
https://yuanze-lin.me/IllumiCraft_page