Chronologie neuronale de scène

Neural Scene Chronology

June 13, 2023

Auteurs: Haotong Lin, Qianqian Wang, Ruojin Cai, Sida Peng, Hadar Averbuch-Elor, Xiaowei Zhou, Noah Snavely

cs.AI

Résumé

Dans ce travail, nous visons à reconstruire un modèle 3D évolutif dans le temps, capable de produire des rendus photo-réalistes avec un contrôle indépendant du point de vue, de l'éclairage et du temps, à partir de photos disponibles sur Internet représentant des monuments à grande échelle. Les défis principaux sont doubles. Premièrement, différents types de changements temporels, tels que l'éclairage et les modifications de la scène elle-même (comme le remplacement d'une œuvre de graffiti par une autre), sont entrelacés dans les images. Deuxièmement, les changements temporels au niveau de la scène sont souvent discrets et sporadiques dans le temps, plutôt que continus. Pour résoudre ces problèmes, nous proposons une nouvelle représentation de scène équipée d'une méthode d'encodage par fonction en escalier temporelle, capable de modéliser les changements discrets du contenu de la scène comme des fonctions constantes par morceaux dans le temps. Plus précisément, nous représentons la scène comme un champ de radiance spatio-temporel avec un embedding d'éclairage par image, où les changements temporels de la scène sont encodés à l'aide d'un ensemble de fonctions en escalier apprises. Pour faciliter notre tâche de reconstruction chronologique à partir d'images Internet, nous avons également collecté un nouveau jeu de données de quatre scènes présentant divers changements au fil du temps. Nous démontrons que notre méthode produit des résultats de synthèse de vue de pointe sur ce jeu de données, tout en permettant un contrôle indépendant du point de vue, du temps et de l'éclairage.

English

In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.