Relit-LiVE: Video herbelichten door gezamenlijk leren van omgevingsvideo

Samenvatting

Recente ontwikkelingen hebben aangetoond dat grootschalige videodiffusiemodellen kunnen worden hergebruikt als neurale renderers door video's eerst te decomponeren in intrinsieke scènerepresentaties en vervolgens voorwaartse rendering uit te voeren onder nieuwe belichting. Hoewel veelbelovend, berust dit paradigma fundamenteel op nauwkeurige intrinsieke decompositie, die voor realistische video's nog zeer onbetrouwbaar is en vaak leidt tot vervormde verschijningen, gebroken materialen en opgehoopte temporele artefacten tijdens herbelichting. In dit werk presenteren we Relit-LiVE, een nieuw raamwerk voor videoherbelichting dat fysiek consistente, temporeel stabiele resultaten oplevert zonder voorafgaande kennis van de camerapositie. Ons belangrijkste inzicht is het expliciet introduceren van ruwe referentiebeelden in het renderingsproces, waardoor het model cruciale scèneaanwijzingen kan herstellen die onvermijdelijk verloren gaan of worden beschadigd in intrinsieke representaties. Verder stellen we een nieuwe formulering voor omgevingsvideovoorspelling voor die gelijktijdig herbelichte video's en per-frame omgevingskaarten genereert, afgestemd op elk camerastandpunt in een enkel diffusieproces. Deze gezamenlijke voorspelling dwingt een sterke geometrische belichtingsafstemming af en ondersteunt op natuurlijke wijze dynamische belichting en camerabeweging, waardoor de fysieke consistentie bij videoherbelichting aanzienlijk verbetert en de vereiste van bekende per-frame camerapositie wordt versoepeld. Uitgebreide experimenten tonen aan dat Relit-LiVE consequent beter presteert dan state-of-the-art methoden voor videoherbelichting en neurale rendering op zowel synthetische als realistische benchmarks. Naast herbelichting ondersteunt ons raamwerk op natuurlijke wijze een breed scala aan downstream-toepassingen, waaronder scènerendering, materiaalbewerking, objectinvoeging en streaming videoherbelichting. Het project is beschikbaar op https://github.com/zhuxing0/Relit-LiVE.

English

Recent advances have shown that large-scale video diffusion models can be repurposed as neural renderers by first decomposing videos into intrinsic scene representations and then performing forward rendering under novel illumination. While promising, this paradigm fundamentally relies on accurate intrinsic decomposition, which remains highly unreliable for real-world videos and often leads to distorted appearances, broken materials, and accumulated temporal artifacts during relighting. In this work, we present Relit-LiVE, a novel video relighting framework that produces physically consistent, temporally stable results without requiring prior knowledge of camera pose. Our key insight is to explicitly introduce raw reference images into the rendering process, enabling the model to recover critical scene cues that are inevitably lost or corrupted in intrinsic representations. Furthermore, we propose a novel environment video prediction formulation that simultaneously generates relit videos and per-frame environment maps aligned with each camera viewpoint in a single diffusion process. This joint prediction enforces strong geometric-illumination alignment and naturally supports dynamic lighting and camera motion, significantly improving physical consistency in video relighting while easing the requirement of known per-frame camera pose. Extensive experiments demonstrate that Relit-LiVE consistently outperforms state-of-the-art video relighting and neural rendering methods across synthetic and real-world benchmarks. Beyond relighting, our framework naturally supports a wide range of downstream applications, including scene-level rendering, material editing, object insertion, and streaming video relighting. The Project is available at https://github.com/zhuxing0/Relit-LiVE.