IllumiCraft: Унифицированная диффузия геометрии и освещения для управляемой генерации видео
IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation
June 3, 2025
Авторы: Yuanze Lin, Yi-Wen Chen, Yi-Hsuan Tsai, Ronald Clark, Ming-Hsuan Yang
cs.AI
Аннотация
Хотя диффузионные модели способны генерировать высококачественные и высокоразрешенные видеопоследовательности на основе текстовых или изображений, они не учитывают явные геометрические подсказки при управлении освещением сцены и визуальным внешним видом между кадрами. Для устранения этого ограничения мы предлагаем IllumiCraft — сквозную диффузионную архитектуру, принимающую три взаимодополняющих входных данных: (1) карты видео с высоким динамическим диапазоном (HDR) для детального управления освещением; (2) синтетически переосвещенные кадры с рандомизированными изменениями освещения (опционально в сочетании со статичным фоновым изображением) для предоставления подсказок по внешнему виду; и (3) треки 3D-точек, фиксирующие точную геометрическую информацию. Интегрируя подсказки по освещению, внешнему виду и геометрии в единую диффузионную архитектуру, IllumiCraft генерирует временно согласованные видео, соответствующие пользовательским запросам. Модель поддерживает переосвещение видео с учетом фона и текста, обеспечивая более высокую точность по сравнению с существующими методами контролируемой генерации видео. Страница проекта: https://yuanze-lin.me/IllumiCraft_page
English
Although diffusion-based models can generate high-quality and high-resolution
video sequences from textual or image inputs, they lack explicit integration of
geometric cues when controlling scene lighting and visual appearance across
frames. To address this limitation, we propose IllumiCraft, an end-to-end
diffusion framework accepting three complementary inputs: (1)
high-dynamic-range (HDR) video maps for detailed lighting control; (2)
synthetically relit frames with randomized illumination changes (optionally
paired with a static background reference image) to provide appearance cues;
and (3) 3D point tracks that capture precise 3D geometry information. By
integrating the lighting, appearance, and geometry cues within a unified
diffusion architecture, IllumiCraft generates temporally coherent videos
aligned with user-defined prompts. It supports background-conditioned and
text-conditioned video relighting and provides better fidelity than existing
controllable video generation methods. Project Page:
https://yuanze-lin.me/IllumiCraft_page