Lumen: Consistente Videoherbelichting en Harmonieuze Achtergrondvervanging met Video Generatieve Modellen

Lumen: Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models

August 18, 2025

Auteurs: Jianshu Zeng, Yuxuan Liu, Yutong Feng, Chenxuan Miao, Zixiang Gao, Jiwang Qu, Jianzhang Zhang, Bin Wang, Kun Yuan

cs.AI

Samenvatting

Video relighting is een uitdagende maar waardevolle taak, die als doel heeft de achtergrond in video's te vervangen terwijl het licht in de voorgrond harmonieus wordt aangepast en samengevoegd. Tijdens de vertaling is het essentieel om de oorspronkelijke eigenschappen van de voorgrond, zoals albedo, te behouden en consistente relighting te verspreiden over temporele frames. In dit artikel stellen we Lumen voor, een end-to-end video relighting-framework ontwikkeld op basis van grootschalige videogeneratieve modellen, dat flexibele tekstuele beschrijvingen ontvangt om de controle over belichting en achtergrond aan te sturen. Gezien de schaarste aan hoogwaardige gepaarde video's met dezelfde voorgrond in verschillende lichtomstandigheden, construeren we een grootschalige dataset met een mix van realistische en synthetische video's. Voor het synthetische domein maken we gebruik van de overvloedige 3D-assets in de gemeenschap en benutten we een geavanceerde 3D-renderingengine om videoparen in diverse omgevingen samen te stellen. Voor het realistische domein passen we een HDR-gebaseerde lichtsimulatie aan om het gebrek aan gepaarde in-the-wild video's aan te vullen. Aangedreven door de bovengenoemde dataset ontwerpen we een gezamenlijk trainingscurriculum om de sterke punten van elk domein effectief te benutten, namelijk de fysieke consistentie in synthetische video's en de gegeneraliseerde domeinverdeling in realistische video's. Om dit te implementeren, injecteren we een domeinbewuste adapter in het model om het leren van relighting en domeinappearancedistributie te ontkoppelen. We construeren een uitgebreide benchmark om Lumen samen met bestaande methoden te evalueren, vanuit het perspectief van voorgrondbehoud en videoconsistentiebeoordeling. Experimentele resultaten tonen aan dat Lumen de invoer effectief bewerkt tot cinematische relighted video's met consistente belichting en strikt voorgrondbehoud. Onze projectpagina: https://lumen-relight.github.io/

English

Video relighting is a challenging yet valuable task, aiming to replace the background in videos while correspondingly adjusting the lighting in the foreground with harmonious blending. During translation, it is essential to preserve the original properties of the foreground, e.g., albedo, and propagate consistent relighting among temporal frames. In this paper, we propose Lumen, an end-to-end video relighting framework developed on large-scale video generative models, receiving flexible textual description for instructing the control of lighting and background. Considering the scarcity of high-qualified paired videos with the same foreground in various lighting conditions, we construct a large-scale dataset with a mixture of realistic and synthetic videos. For the synthetic domain, benefiting from the abundant 3D assets in the community, we leverage advanced 3D rendering engine to curate video pairs in diverse environments. For the realistic domain, we adapt a HDR-based lighting simulation to complement the lack of paired in-the-wild videos. Powered by the aforementioned dataset, we design a joint training curriculum to effectively unleash the strengths of each domain, i.e., the physical consistency in synthetic videos, and the generalized domain distribution in realistic videos. To implement this, we inject a domain-aware adapter into the model to decouple the learning of relighting and domain appearance distribution. We construct a comprehensive benchmark to evaluate Lumen together with existing methods, from the perspectives of foreground preservation and video consistency assessment. Experimental results demonstrate that Lumen effectively edit the input into cinematic relighted videos with consistent lighting and strict foreground preservation. Our project page: https://lumen-relight.github.io/