Relit-LiVE: Переосвещение видео путем совместного обучения видео окружения
Relit-LiVE: Relight Video by Jointly Learning Environment Video
May 7, 2026
Авторы: Weiqing Xiao, Hong Li, Xiuyu Yang, Houyuan Chen, Wenyi Li, Tianqi Liu, Shaocong Xu, Chongjie Ye, Hao Zhao, Beibei Wang
cs.AI
Аннотация
Недавние достижения показали, что крупномасштабные модели диффузии видео могут быть перепрофилированы в нейронные рендеризаторы путем сначала разложения видео на внутренние представления сцены, а затем выполнения прямого рендеринга при новом освещении. Этот подход, хотя и многообещающий, принципиально опирается на точное внутреннее разложение, которое остается крайне ненадежным для реальных видео и часто приводит к искаженному внешнему виду, нарушенным материалам и накопленным временным артефактам при переосвещении. В данной работе мы представляем Relit-LiVE — новый фреймворк для переосвещения видео, который обеспечивает физически согласованные, временно стабильные результаты без необходимости предварительного знания положения камеры. Наша ключевая идея заключается в явном введении исходных эталонных изображений в процесс рендеринга, что позволяет модели восстановить критически важные сигналы сцены, которые неизбежно теряются или искажаются во внутренних представлениях. Кроме того, мы предлагаем новую формулировку предсказания карты окружения видео, которая одновременно генерирует переосвещенные видео и покадровые карты окружения, согласованные с каждой точкой обзора камеры, в едином процессе диффузии. Это совместное предсказание обеспечивает сильное согласование геометрии и освещения и естественным образом поддерживает динамическое освещение и движение камеры, значительно улучшая физическую согласованность при переосвещении видео, а также снижая требование известных покадровых параметров камеры. Обширные эксперименты показывают, что Relit-LiVE последовательно превосходит современные методы переосвещения видео и нейронного рендеринга на синтетических и реальных эталонах. Помимо переосвещения, наш фреймворк естественным образом поддерживает широкий спектр прикладных задач, включая рендеринг на уровне сцены, редактирование материалов, вставку объектов и переосвещение потокового видео. Проект доступен по адресу https://github.com/zhuxing0/Relit-LiVE.
English
Recent advances have shown that large-scale video diffusion models can be repurposed as neural renderers by first decomposing videos into intrinsic scene representations and then performing forward rendering under novel illumination. While promising, this paradigm fundamentally relies on accurate intrinsic decomposition, which remains highly unreliable for real-world videos and often leads to distorted appearances, broken materials, and accumulated temporal artifacts during relighting. In this work, we present Relit-LiVE, a novel video relighting framework that produces physically consistent, temporally stable results without requiring prior knowledge of camera pose. Our key insight is to explicitly introduce raw reference images into the rendering process, enabling the model to recover critical scene cues that are inevitably lost or corrupted in intrinsic representations. Furthermore, we propose a novel environment video prediction formulation that simultaneously generates relit videos and per-frame environment maps aligned with each camera viewpoint in a single diffusion process. This joint prediction enforces strong geometric-illumination alignment and naturally supports dynamic lighting and camera motion, significantly improving physical consistency in video relighting while easing the requirement of known per-frame camera pose. Extensive experiments demonstrate that Relit-LiVE consistently outperforms state-of-the-art video relighting and neural rendering methods across synthetic and real-world benchmarks. Beyond relighting, our framework naturally supports a wide range of downstream applications, including scene-level rendering, material editing, object insertion, and streaming video relighting. The Project is available at https://github.com/zhuxing0/Relit-LiVE.