Relit-LiVE: Reiluminação de Vídeo por Aprendizado Conjunto de Vídeo de Ambiente

Resumo

Avanços recentes demonstraram que modelos de difusão de vídeo em larga escala podem ser reutilizados como renderizadores neurais, primeiro decompondo vídeos em representações intrínsecas de cena e, em seguida, realizando renderização direta sob nova iluminação. Embora promissor, esse paradigma depende fundamentalmente de uma decomposição intrínseca precisa, o que permanece altamente não confiável para vídeos do mundo real e frequentemente leva a aparências distorcidas, materiais quebrados e artefatos temporais acumulados durante a re-iluminação. Neste trabalho, apresentamos o Relit-LiVE, uma nova estrutura de re-iluminação de vídeo que produz resultados fisicamente consistentes e temporalmente estáveis sem exigir conhecimento prévio da pose da câmera. Nossa ideia central é introduzir explicitamente imagens de referência brutas no processo de renderização, permitindo que o modelo recupere sinais críticos da cena que são inevitavelmente perdidos ou corrompidos em representações intrínsecas. Além disso, propomos uma nova formulação de previsão de vídeo de ambiente que simultaneamente gera vídeos re-iluminados e mapas de ambiente por quadro, alinhados com cada ponto de vista da câmera, em um único processo de difusão. Essa previsão conjunta impõe um forte alinhamento geométrico-iluminação e suporta naturalmente iluminação dinâmica e movimento da câmera, melhorando significativamente a consistência física na re-iluminação de vídeos, ao mesmo tempo que flexibiliza a exigência de pose conhecida da câmera por quadro. Experimentos extensivos demonstram que o Relit-LiVE supera consistentemente os métodos estado da arte de re-iluminação de vídeo e renderização neural em benchmarks sintéticos e do mundo real. Além da re-iluminação, nossa estrutura suporta naturalmente uma ampla gama de aplicações downstream, incluindo renderização em nível de cena, edição de materiais, inserção de objetos e re-iluminação de vídeo em fluxo contínuo. O projeto está disponível em https://github.com/zhuxing0/Relit-LiVE.

English

Recent advances have shown that large-scale video diffusion models can be repurposed as neural renderers by first decomposing videos into intrinsic scene representations and then performing forward rendering under novel illumination. While promising, this paradigm fundamentally relies on accurate intrinsic decomposition, which remains highly unreliable for real-world videos and often leads to distorted appearances, broken materials, and accumulated temporal artifacts during relighting. In this work, we present Relit-LiVE, a novel video relighting framework that produces physically consistent, temporally stable results without requiring prior knowledge of camera pose. Our key insight is to explicitly introduce raw reference images into the rendering process, enabling the model to recover critical scene cues that are inevitably lost or corrupted in intrinsic representations. Furthermore, we propose a novel environment video prediction formulation that simultaneously generates relit videos and per-frame environment maps aligned with each camera viewpoint in a single diffusion process. This joint prediction enforces strong geometric-illumination alignment and naturally supports dynamic lighting and camera motion, significantly improving physical consistency in video relighting while easing the requirement of known per-frame camera pose. Extensive experiments demonstrate that Relit-LiVE consistently outperforms state-of-the-art video relighting and neural rendering methods across synthetic and real-world benchmarks. Beyond relighting, our framework naturally supports a wide range of downstream applications, including scene-level rendering, material editing, object insertion, and streaming video relighting. The Project is available at https://github.com/zhuxing0/Relit-LiVE.