Lumen: Konsistente Videobeleuchtung und harmonischer Hintergendaustausch mit videogenerativen Modellen

Lumen: Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models

August 18, 2025

papers.authors: Jianshu Zeng, Yuxuan Liu, Yutong Feng, Chenxuan Miao, Zixiang Gao, Jiwang Qu, Jianzhang Zhang, Bin Wang, Kun Yuan

cs.AI

papers.abstract

Video-Relighting ist eine anspruchsvolle, aber wertvolle Aufgabe, die darauf abzielt, den Hintergrund in Videos zu ersetzen und dabei die Beleuchtung im Vordergrund harmonisch anzupassen. Bei der Übersetzung ist es entscheidend, die ursprünglichen Eigenschaften des Vordergrunds, wie z. B. das Albedo, zu bewahren und eine konsistente Neubeleuchtung über die zeitlichen Frames hinweg zu gewährleisten. In diesem Artikel stellen wir Lumen vor, ein end-to-end Video-Relighting-Framework, das auf groß angelegten Video-Generierungsmodellen basiert und flexible textuelle Beschreibungen zur Steuerung von Beleuchtung und Hintergrund erhält. Angesichts der Knappheit an hochwertigen gepaarten Videos mit demselben Vordergrund unter verschiedenen Lichtbedingungen erstellen wir einen umfangreichen Datensatz, der eine Mischung aus realistischen und synthetischen Videos enthält. Für den synthetischen Bereich nutzen wir die Fülle an 3D-Assets in der Community und setzen eine fortschrittliche 3D-Rendering-Engine ein, um Video-Paare in verschiedenen Umgebungen zu kuratieren. Für den realistischen Bereich passen wir eine HDR-basierte Beleuchtungssimulation an, um den Mangel an gepaarten Videos in natürlichen Umgebungen zu ergänzen. Gestützt auf den genannten Datensatz entwerfen wir ein gemeinsames Trainingsprogramm, um die Stärken jedes Bereichs effektiv zu nutzen, d. h. die physikalische Konsistenz in synthetischen Videos und die generalisierte Domänenverteilung in realistischen Videos. Um dies zu erreichen, integrieren wir einen domänenbewussten Adapter in das Modell, um das Lernen der Neubeleuchtung und der Domänen-Erscheinungsverteilung zu entkoppeln. Wir erstellen einen umfassenden Benchmark, um Lumen zusammen mit bestehenden Methoden aus den Perspektiven der Vordergrundbewahrung und der Video-Konsistenzbewertung zu bewerten. Experimentelle Ergebnisse zeigen, dass Lumen die Eingabe effektiv in kinematisch neu beleuchtete Videos mit konsistenter Beleuchtung und strenger Vordergrundbewahrung bearbeitet. Unsere Projektseite: https://lumen-relight.github.io/

English

Video relighting is a challenging yet valuable task, aiming to replace the background in videos while correspondingly adjusting the lighting in the foreground with harmonious blending. During translation, it is essential to preserve the original properties of the foreground, e.g., albedo, and propagate consistent relighting among temporal frames. In this paper, we propose Lumen, an end-to-end video relighting framework developed on large-scale video generative models, receiving flexible textual description for instructing the control of lighting and background. Considering the scarcity of high-qualified paired videos with the same foreground in various lighting conditions, we construct a large-scale dataset with a mixture of realistic and synthetic videos. For the synthetic domain, benefiting from the abundant 3D assets in the community, we leverage advanced 3D rendering engine to curate video pairs in diverse environments. For the realistic domain, we adapt a HDR-based lighting simulation to complement the lack of paired in-the-wild videos. Powered by the aforementioned dataset, we design a joint training curriculum to effectively unleash the strengths of each domain, i.e., the physical consistency in synthetic videos, and the generalized domain distribution in realistic videos. To implement this, we inject a domain-aware adapter into the model to decouple the learning of relighting and domain appearance distribution. We construct a comprehensive benchmark to evaluate Lumen together with existing methods, from the perspectives of foreground preservation and video consistency assessment. Experimental results demonstrate that Lumen effectively edit the input into cinematic relighted videos with consistent lighting and strict foreground preservation. Our project page: https://lumen-relight.github.io/