Light4D: 학습 없이 구현하는 극단적 시점 4D 비디오 재조명

초록

확산 기반 생성 모델의 최근 발전은 이미지 및 비디오 재조명 분야에 새로운 패러다임을 정립했습니다. 그러나 이러한 기능을 4D 재조명으로 확장하는 것은 주로 짝을 이룬 4D 재조명 학습 데이터의 부족과 극단적인 시점 변화에서 시간적 일관성을 유지하는 어려움으로 인해 여전히 과제로 남아 있습니다. 본 연구에서는 극단적인 시점 변화 하에서도 대상 조명 조건에 따라 일관된 4D 비디오를 합성하기 위해 설계된 새로운 학습 불필요 프레임워크인 Light4D를 제안합니다. 첫째, 기하학적 무결성을 보존하면서 잠재 공간에 효과적으로 조명 제어를 주입하는 시간 인식 전략인 분리형 흐름 가이던스를 도입합니다. 둘째, 시간적 일관성을 강화하기 위해 IC-Light 아키텍처 내에서 시간 일관성 어텐션을 개발하고 외관 플리커 현상을 제거하기 위해 결정론적 정규화를 추가로 통합합니다. 광범위한 실험을 통해 본 방법이 시간적 일관성과 조명 정확도 측면에서 경쟁력 있는 성능을 달성하며, -90도에서 90도에 이르는 카메라 회전을 강건하게 처리함을 입증합니다. 코드: https://github.com/AIGeeksGroup/Light4D. 웹사이트: https://aigeeksgroup.github.io/Light4D.

English

Recent advances in diffusion-based generative models have established a new paradigm for image and video relighting. However, extending these capabilities to 4D relighting remains challenging, due primarily to the scarcity of paired 4D relighting training data and the difficulty of maintaining temporal consistency across extreme viewpoints. In this work, we propose Light4D, a novel training-free framework designed to synthesize consistent 4D videos under target illumination, even under extreme viewpoint changes. First, we introduce Disentangled Flow Guidance, a time-aware strategy that effectively injects lighting control into the latent space while preserving geometric integrity. Second, to reinforce temporal consistency, we develop Temporal Consistent Attention within the IC-Light architecture and further incorporate deterministic regularization to eliminate appearance flickering. Extensive experiments demonstrate that our method achieves competitive performance in temporal consistency and lighting fidelity, robustly handling camera rotations from -90 to 90. Code: https://github.com/AIGeeksGroup/Light4D. Website: https://aigeeksgroup.github.io/Light4D.

Light4D: 학습 없이 구현하는 극단적 시점 4D 비디오 재조명

Light4D: Training-Free Extreme Viewpoint 4D Video Relighting

초록

Support