Cronología Neural de Escenas

Neural Scene Chronology

June 13, 2023

Autores: Haotong Lin, Qianqian Wang, Ruojin Cai, Sida Peng, Hadar Averbuch-Elor, Xiaowei Zhou, Noah Snavely

cs.AI

Resumen

En este trabajo, nuestro objetivo es reconstruir un modelo 3D variable en el tiempo, capaz de generar representaciones fotorrealistas con control independiente del punto de vista, la iluminación y el tiempo, a partir de fotografías de Internet de monumentos a gran escala. Los desafíos principales son dos. Primero, diferentes tipos de cambios temporales, como la iluminación y las modificaciones en la escena subyacente (por ejemplo, reemplazar una obra de graffiti por otra), están entrelazados en las imágenes. Segundo, los cambios temporales a nivel de escena suelen ser discretos y esporádicos en el tiempo, en lugar de continuos. Para abordar estos problemas, proponemos una nueva representación de la escena equipada con un método novedoso de codificación mediante funciones escalonadas temporales, que puede modelar cambios discretos en el contenido de la escena como funciones constantes por partes en el tiempo. Específicamente, representamos la escena como un campo de radiancia espacio-temporal con una incrustación de iluminación por imagen, donde los cambios temporales en la escena se codifican utilizando un conjunto de funciones escalonadas aprendidas. Para facilitar nuestra tarea de reconstrucción cronológica a partir de imágenes de Internet, también recopilamos un nuevo conjunto de datos de cuatro escenas que exhiben diversos cambios a lo largo del tiempo. Demostramos que nuestro método obtiene resultados de síntesis de vistas de vanguardia en este conjunto de datos, logrando un control independiente del punto de vista, el tiempo y la iluminación.

English

In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.