Light4D: Trainingsvrije 4D-videoherbelichting vanuit extreme gezichtspunten

Light4D: Training-Free Extreme Viewpoint 4D Video Relighting

February 12, 2026

Auteurs: Zhenghuang Wu, Kang Chen, Zeyu Zhang, Hao Tang

cs.AI

Samenvatting

Recente vooruitgang in diffusiegebaseerde generatieve modellen heeft een nieuw paradigma gevestigd voor herbelichting van afbeeldingen en video's. Het uitbreiden van deze mogelijkheden naar 4D-herbelichting blijft echter een uitdaging, voornamelijk vanwege de schaarste aan gepaarde 4D-herbelichtingstrainingsgegevens en de moeilijkheid om temporele consistentie te behouden bij extreme gezichtspunten. In dit werk stellen we Light4D voor, een nieuw trainingsvrij raamwerk ontworpen om consistente 4D-video's te synthetiseren onder doelbelichting, zelfs bij extreme veranderingen in gezichtspunt. Ten eerste introduceren we Disentangled Flow Guidance, een tijd-bewuste strategie die effectief belichtingscontrole injecteert in de latente ruimte terwijl de geometrische integriteit behouden blijft. Ten tweede ontwikkelen we, om temporele consistentie te versterken, Temporal Consistent Attention binnen de IC-Light-architectuur en incorporeren we verder deterministische regularisatie om verschijningsflikkeren te elimineren. Uitgebreide experimenten tonen aan dat onze methode competitieve prestaties bereikt op het gebied van temporele consistentie en belichtingsgetrouwheid, waarbij robuust omgegaan wordt met camerarotaties van -90 tot 90 graden. Code: https://github.com/AIGeeksGroup/Light4D. Website: https://aigeeksgroup.github.io/Light4D.

English

Recent advances in diffusion-based generative models have established a new paradigm for image and video relighting. However, extending these capabilities to 4D relighting remains challenging, due primarily to the scarcity of paired 4D relighting training data and the difficulty of maintaining temporal consistency across extreme viewpoints. In this work, we propose Light4D, a novel training-free framework designed to synthesize consistent 4D videos under target illumination, even under extreme viewpoint changes. First, we introduce Disentangled Flow Guidance, a time-aware strategy that effectively injects lighting control into the latent space while preserving geometric integrity. Second, to reinforce temporal consistency, we develop Temporal Consistent Attention within the IC-Light architecture and further incorporate deterministic regularization to eliminate appearance flickering. Extensive experiments demonstrate that our method achieves competitive performance in temporal consistency and lighting fidelity, robustly handling camera rotations from -90 to 90. Code: https://github.com/AIGeeksGroup/Light4D. Website: https://aigeeksgroup.github.io/Light4D.