Cronologia Neurale della Scena

Neural Scene Chronology

June 13, 2023

Autori: Haotong Lin, Qianqian Wang, Ruojin Cai, Sida Peng, Hadar Averbuch-Elor, Xiaowei Zhou, Noah Snavely

cs.AI

Abstract

In questo lavoro, ci proponiamo di ricostruire un modello 3D variabile nel tempo, in grado di generare rendering fotorealistici con controllo indipendente del punto di vista, dell'illuminazione e del tempo, a partire da foto Internet di monumenti su larga scala. Le principali sfide sono due. In primo luogo, diversi tipi di cambiamenti temporali, come l'illuminazione e le modifiche alla scena stessa (ad esempio, la sostituzione di un'opera di graffiti con un'altra), sono intrecciati insieme nelle immagini. In secondo luogo, i cambiamenti temporali a livello di scena sono spesso discreti e sporadici nel tempo, piuttosto che continui. Per affrontare questi problemi, proponiamo una nuova rappresentazione della scena dotata di un metodo di codifica innovativo basato su funzioni a gradino temporale, in grado di modellare i cambiamenti discreti del contenuto della scena come funzioni costanti a tratti nel tempo. Nello specifico, rappresentiamo la scena come un campo di radianza spazio-temporale con un'incorporazione dell'illuminazione per immagine, dove i cambiamenti temporali della scena sono codificati utilizzando un insieme di funzioni a gradino apprese. Per facilitare il nostro compito di ricostruzione cronologica a partire dalle immagini Internet, abbiamo anche raccolto un nuovo dataset di quattro scene che presentano vari cambiamenti nel tempo. Dimostriamo che il nostro metodo ottiene risultati all'avanguardia nella sintesi di visualizzazioni su questo dataset, raggiungendo al contempo un controllo indipendente del punto di vista, del tempo e dell'illuminazione.

English

In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.