Light4D: Обучение без обучения экстремальному переосвещению 4D-видео с произвольных точек обзора
Light4D: Training-Free Extreme Viewpoint 4D Video Relighting
February 12, 2026
Авторы: Zhenghuang Wu, Kang Chen, Zeyu Zhang, Hao Tang
cs.AI
Аннотация
Последние достижения в диффузионных генеративных моделях создали новую парадигму для переосвещения изображений и видео. Однако расширение этих возможностей на 4D-переосвещение остается сложной задачей, в основном из-за недостатка парных данных для обучения 4D-переосвещению и трудностей поддержания временной согласованности при экстремальных изменениях ракурса. В данной работе мы предлагаем Light4D — новую бесплатную для обучения систему, предназначенную для синтеза согласованных 4D-видео при целевом освещении, даже при резких изменениях точки обзора. Во-первых, мы представляем Disentangled Flow Guidance — стратегию, учитывающую время, которая эффективно внедряет управление освещением в латентное пространство, сохраняя геометрическую целостность. Во-вторых, для усиления временной согласованности мы разрабатываем Temporal Consistent Attention в архитектуре IC-Light и дополнительно внедряем детерминированную регуляризацию для устранения мерцания изображения. Многочисленные эксперименты демонстрируют, что наш метод достигает конкурентоспособных результатов по временной согласованности и точности освещения, устойчиво обрабатывая вращения камеры от -90 до 90 градусов. Код: https://github.com/AIGeeksGroup/Light4D. Сайт: https://aigeeksgroup.github.io/Light4D.
English
Recent advances in diffusion-based generative models have established a new paradigm for image and video relighting. However, extending these capabilities to 4D relighting remains challenging, due primarily to the scarcity of paired 4D relighting training data and the difficulty of maintaining temporal consistency across extreme viewpoints. In this work, we propose Light4D, a novel training-free framework designed to synthesize consistent 4D videos under target illumination, even under extreme viewpoint changes. First, we introduce Disentangled Flow Guidance, a time-aware strategy that effectively injects lighting control into the latent space while preserving geometric integrity. Second, to reinforce temporal consistency, we develop Temporal Consistent Attention within the IC-Light architecture and further incorporate deterministic regularization to eliminate appearance flickering. Extensive experiments demonstrate that our method achieves competitive performance in temporal consistency and lighting fidelity, robustly handling camera rotations from -90 to 90. Code: https://github.com/AIGeeksGroup/Light4D. Website: https://aigeeksgroup.github.io/Light4D.