Light4D: Rilluminazione di Video 4D da Punti di Vista Estremi Senza Addestramento
Light4D: Training-Free Extreme Viewpoint 4D Video Relighting
February 12, 2026
Autori: Zhenghuang Wu, Kang Chen, Zeyu Zhang, Hao Tang
cs.AI
Abstract
I recenti progressi nei modelli generativi basati sulla diffusione hanno stabilito un nuovo paradigma per la riluminazione di immagini e video. Tuttavia, estendere queste capacità alla riluminazione 4D rimane impegnativo, principalmente a causa della scarsità di dati di addestramento 4D accoppiati per la riluminazione e della difficoltà nel mantenere la coerenza temporale attraverso cambiamenti estremi di punto di vista. In questo lavoro, proponiamo Light4D, un nuovo framework senza addestramento progettato per sintetizzare video 4D consistenti sotto un'illuminazione target, anche sotto cambiamenti estremi di visuale. In primo luogo, introduciamo la Disentangled Flow Guidance, una strategia consapevole del tempo che inietta efficacemente il controllo dell'illuminazione nello spazio latente preservando l'integrità geometrica. In secondo luogo, per rafforzare la coerenza temporale, sviluppiamo il Temporal Consistent Attention all'interno dell'architettura IC-Light e incorporiamo ulteriormente una regolarizzazione deterministica per eliminare lo sfarfallio dell'aspetto. Esperimenti estesi dimostrano che il nostro metodo raggiunge prestazioni competitive in termini di coerenza temporale e fedeltà dell'illuminazione, gestendo in modo robusto rotazioni della camera da -90 a 90 gradi. Codice: https://github.com/AIGeeksGroup/Light4D. Sito web: https://aigeeksgroup.github.io/Light4D.
English
Recent advances in diffusion-based generative models have established a new paradigm for image and video relighting. However, extending these capabilities to 4D relighting remains challenging, due primarily to the scarcity of paired 4D relighting training data and the difficulty of maintaining temporal consistency across extreme viewpoints. In this work, we propose Light4D, a novel training-free framework designed to synthesize consistent 4D videos under target illumination, even under extreme viewpoint changes. First, we introduce Disentangled Flow Guidance, a time-aware strategy that effectively injects lighting control into the latent space while preserving geometric integrity. Second, to reinforce temporal consistency, we develop Temporal Consistent Attention within the IC-Light architecture and further incorporate deterministic regularization to eliminate appearance flickering. Extensive experiments demonstrate that our method achieves competitive performance in temporal consistency and lighting fidelity, robustly handling camera rotations from -90 to 90. Code: https://github.com/AIGeeksGroup/Light4D. Website: https://aigeeksgroup.github.io/Light4D.