Neurale Scène Chronologie

Neural Scene Chronology

June 13, 2023

Auteurs: Haotong Lin, Qianqian Wang, Ruojin Cai, Sida Peng, Hadar Averbuch-Elor, Xiaowei Zhou, Noah Snavely

cs.AI

Samenvatting

In dit werk streven we ernaar een tijdvariërend 3D-model te reconstrueren dat in staat is om foto-realistische weergaven te renderen met onafhankelijke controle over gezichtspunt, belichting en tijd, op basis van internetfoto's van grootschalige bezienswaardigheden. De kernuitdagingen zijn tweeledig. Ten eerste zijn verschillende soorten temporele veranderingen, zoals belichting en veranderingen aan de onderliggende scène zelf (zoals het vervangen van het ene graffiti-kunstwerk door een ander), verstrengeld in de beeldmaterie. Ten tweede zijn scène-niveau temporele veranderingen vaak discreet en sporadisch in de tijd, in plaats van continu. Om deze problemen aan te pakken, stellen we een nieuwe scène-representatie voor, uitgerust met een nieuwe temporele stapfunctie-coderingmethode die discrete scène-niveau inhoudsveranderingen kan modelleren als stuksgewijs constante functies in de tijd. Specifiek representeren we de scène als een ruimte-tijd stralingsveld met een per-beeld belichtingsembedding, waarbij temporeel variërende scèneveranderingen worden gecodeerd met behulp van een set geleerde stapfuncties. Om onze taak van chronologie-reconstructie uit internetbeeldmateriaal te vergemakkelijken, hebben we ook een nieuwe dataset verzameld van vier scènes die verschillende veranderingen in de tijd vertonen. We demonstreren dat onze methode state-of-the-art resultaten behaalt voor viewsynthese op deze dataset, terwijl onafhankelijke controle over gezichtspunt, tijd en belichting wordt bereikt.

English

In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.