Light4D: 学習不要な極端視点4Dビデオ再照明

Light4D: Training-Free Extreme Viewpoint 4D Video Relighting

February 12, 2026

著者: Zhenghuang Wu, Kang Chen, Zeyu Zhang, Hao Tang

cs.AI

要旨

拡散ベースの生成モデルの最近の進歩は、画像およびビデオの再照明技術に新たなパラダイムを確立している。しかし、これらの機能を4D再照明に拡張することは、主にペアとなった4D再照明学習データの不足と、極端な視点変化における時間的一貫性の維持の難しさから、依然として課題が多い。本研究では、極端な視点変化下でも目標照明下で一貫性のある4Dビデオを合成する、学習不要の新しいフレームワークであるLight4Dを提案する。まず、幾何学的完全性を保持しながら照明制御を潜在空間に効果的に注入する、時間認識型戦略であるDisentangled Flow Guidanceを導入する。次に、時間的一貫性を強化するため、IC-Lightアーキテクチャ内にTemporal Consistent Attentionを開発し、さらに確定的正則化を組み込んで外観のちらつきを排除する。大規模な実験により、本手法が時間的一貫性と照明忠実度において競争力のある性能を達成し、-90度から90度までのカメラ回転を頑健に処理できることを実証する。コード: https://github.com/AIGeeksGroup/Light4D. ウェブサイト: https://aigeeksgroup.github.io/Light4D.

English

Recent advances in diffusion-based generative models have established a new paradigm for image and video relighting. However, extending these capabilities to 4D relighting remains challenging, due primarily to the scarcity of paired 4D relighting training data and the difficulty of maintaining temporal consistency across extreme viewpoints. In this work, we propose Light4D, a novel training-free framework designed to synthesize consistent 4D videos under target illumination, even under extreme viewpoint changes. First, we introduce Disentangled Flow Guidance, a time-aware strategy that effectively injects lighting control into the latent space while preserving geometric integrity. Second, to reinforce temporal consistency, we develop Temporal Consistent Attention within the IC-Light architecture and further incorporate deterministic regularization to eliminate appearance flickering. Extensive experiments demonstrate that our method achieves competitive performance in temporal consistency and lighting fidelity, robustly handling camera rotations from -90 to 90. Code: https://github.com/AIGeeksGroup/Light4D. Website: https://aigeeksgroup.github.io/Light4D.