Relit-LiVE: Neubeleuchtung von Videos durch gemeinsames Lernen von Umgebungsvideos
Relit-LiVE: Relight Video by Jointly Learning Environment Video
May 7, 2026
Autoren: Weiqing Xiao, Hong Li, Xiuyu Yang, Houyuan Chen, Wenyi Li, Tianqi Liu, Shaocong Xu, Chongjie Ye, Hao Zhao, Beibei Wang
cs.AI
Zusammenfassung
Aktuelle Fortschritte haben gezeigt, dass großskalige Videodiffusionsmodelle als neuronale Renderer umfunktioniert werden können, indem zunächst Videos in intrinsische Szenendarstellungen zerlegt und dann unter neuer Beleuchtung ein Vorwärtsrendering durchgeführt wird. Obwohl vielversprechend, beruht dieses Paradigma grundlegend auf einer genauen intrinsischen Zerlegung, die für reale Videos nach wie vor sehr unzuverlässig ist und beim Relighting häufig zu verzerrten Erscheinungsbildern, gebrochenen Materialien und akkumulierten zeitlichen Artefakten führt. In dieser Arbeit stellen wir Relit-LiVE vor, ein neuartiges Videorelighting-Framework, das physikalisch konsistente, zeitlich stabile Ergebnisse liefert, ohne dass Vorkenntnisse über die Kamerapose erforderlich sind. Unser zentraler Ansatz besteht darin, explizit rohe Referenzbilder in den Rendering-Prozess einzubeziehen, sodass das Modell wichtige Szenenhinweise wiederherstellen kann, die in intrinsischen Darstellungen unweigerlich verloren gehen oder verfälscht werden. Darüber hinaus schlagen wir eine neuartige Umgebungsvideovorhersage-Formulierung vor, die gleichzeitig relightete Videos und pro Bild mit jeder Kameraperspektive ausgerichtete Umgebungskarten in einem einzigen Diffusionsprozess erzeugt. Diese gemeinsame Vorhersage erzwingt eine starke geometrisch-optische Ausrichtung und unterstützt natürlicherweise dynamische Beleuchtung und Kamerabewegung, was die physikalische Konsistenz beim Videorelighting erheblich verbessert und die Anforderung einer bekannten Kamerapose pro Bild lockert. Umfangreiche Experimente zeigen, dass Relit-LiVE durchweg bessere Ergebnisse erzielt als aktuelle Videorelighting- und neuronale Rendering-Methoden auf synthetischen und realen Benchmarks. Über das Relighting hinaus unterstützt unser Framework auf natürliche Weise eine Vielzahl nachgelagerter Anwendungen, darunter Szenenrendering, Materialbearbeitung, Objekteinsetzen und Streaming-Videorelighting. Das Projekt ist verfügbar unter https://github.com/zhuxing0/Relit-LiVE.
English
Recent advances have shown that large-scale video diffusion models can be repurposed as neural renderers by first decomposing videos into intrinsic scene representations and then performing forward rendering under novel illumination. While promising, this paradigm fundamentally relies on accurate intrinsic decomposition, which remains highly unreliable for real-world videos and often leads to distorted appearances, broken materials, and accumulated temporal artifacts during relighting. In this work, we present Relit-LiVE, a novel video relighting framework that produces physically consistent, temporally stable results without requiring prior knowledge of camera pose. Our key insight is to explicitly introduce raw reference images into the rendering process, enabling the model to recover critical scene cues that are inevitably lost or corrupted in intrinsic representations. Furthermore, we propose a novel environment video prediction formulation that simultaneously generates relit videos and per-frame environment maps aligned with each camera viewpoint in a single diffusion process. This joint prediction enforces strong geometric-illumination alignment and naturally supports dynamic lighting and camera motion, significantly improving physical consistency in video relighting while easing the requirement of known per-frame camera pose. Extensive experiments demonstrate that Relit-LiVE consistently outperforms state-of-the-art video relighting and neural rendering methods across synthetic and real-world benchmarks. Beyond relighting, our framework naturally supports a wide range of downstream applications, including scene-level rendering, material editing, object insertion, and streaming video relighting. The Project is available at https://github.com/zhuxing0/Relit-LiVE.