Lumen: Согласованное переосвещение видео и гармоничная замена фона с использованием генеративных моделей для видео

Lumen: Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models

August 18, 2025

Авторы: Jianshu Zeng, Yuxuan Liu, Yutong Feng, Chenxuan Miao, Zixiang Gao, Jiwang Qu, Jianzhang Zhang, Bin Wang, Kun Yuan

cs.AI

Аннотация

Переосвещение видео — это сложная, но важная задача, которая заключается в замене фона в видео с одновременной гармоничной корректировкой освещения на переднем плане. При выполнении этой задачи необходимо сохранять исходные свойства переднего плана, такие как альбедо, и обеспечивать согласованное переосвещение между временными кадрами. В данной статье мы представляем Lumen — сквозную (end-to-end) архитектуру для переосвещения видео, разработанную на основе крупномасштабных моделей генерации видео, которая принимает гибкие текстовые описания для управления освещением и фоном. Учитывая недостаток высококачественных парных видео с одинаковым передним планом в различных условиях освещения, мы создали крупномасштабный набор данных, включающий как реалистичные, так и синтетические видео. Для синтетической области, благодаря обилию 3D-ассетов в сообществе, мы используем передовой движок 3D-рендеринга для создания пар видео в разнообразных окружениях. Для реалистичной области мы применяем симуляцию освещения на основе HDR, чтобы компенсировать недостаток парных видео, снятых в естественных условиях. Опираясь на этот набор данных, мы разработали совместную учебную программу, которая эффективно раскрывает сильные стороны каждой области: физическую согласованность в синтетических видео и обобщённое распределение домена в реалистичных видео. Для реализации этого мы внедряем в модель адаптер, учитывающий домен, чтобы разделить обучение переосвещения и распределения внешнего вида домена. Мы создали комплексный бенчмарк для оценки Lumen вместе с существующими методами, рассматривая сохранение переднего плана и согласованность видео. Экспериментальные результаты показывают, что Lumen эффективно редактирует входные данные, создавая кинематографические видео с согласованным освещением и строгим сохранением переднего плана. Наш проект доступен по ссылке: https://lumen-relight.github.io/

English

Video relighting is a challenging yet valuable task, aiming to replace the background in videos while correspondingly adjusting the lighting in the foreground with harmonious blending. During translation, it is essential to preserve the original properties of the foreground, e.g., albedo, and propagate consistent relighting among temporal frames. In this paper, we propose Lumen, an end-to-end video relighting framework developed on large-scale video generative models, receiving flexible textual description for instructing the control of lighting and background. Considering the scarcity of high-qualified paired videos with the same foreground in various lighting conditions, we construct a large-scale dataset with a mixture of realistic and synthetic videos. For the synthetic domain, benefiting from the abundant 3D assets in the community, we leverage advanced 3D rendering engine to curate video pairs in diverse environments. For the realistic domain, we adapt a HDR-based lighting simulation to complement the lack of paired in-the-wild videos. Powered by the aforementioned dataset, we design a joint training curriculum to effectively unleash the strengths of each domain, i.e., the physical consistency in synthetic videos, and the generalized domain distribution in realistic videos. To implement this, we inject a domain-aware adapter into the model to decouple the learning of relighting and domain appearance distribution. We construct a comprehensive benchmark to evaluate Lumen together with existing methods, from the perspectives of foreground preservation and video consistency assessment. Experimental results demonstrate that Lumen effectively edit the input into cinematic relighted videos with consistent lighting and strict foreground preservation. Our project page: https://lumen-relight.github.io/