Хронология нейронных сцен

Neural Scene Chronology

June 13, 2023

Авторы: Haotong Lin, Qianqian Wang, Ruojin Cai, Sida Peng, Hadar Averbuch-Elor, Xiaowei Zhou, Noah Snavely

cs.AI

Аннотация

В данной работе мы стремимся восстановить изменяющуюся во времени 3D-модель, способную генерировать фотореалистичные изображения с независимым управлением точкой обзора, освещением и временем, на основе интернет-фотографий крупных достопримечательностей. Основные проблемы заключаются в следующем. Во-первых, различные типы временных изменений, такие как освещение и изменения самой сцены (например, замена одного граффити на другое), переплетены в изображениях. Во-вторых, изменения на уровне сцены часто носят дискретный и спорадический характер во времени, а не непрерывный. Для решения этих проблем мы предлагаем новое представление сцены, оснащенное методом кодирования временной ступенчатой функции, который может моделировать дискретные изменения содержания сцены как кусочно-постоянные функции времени. В частности, мы представляем сцену как пространственно-временное поле излучения с вложением освещения для каждого изображения, где временные изменения сцены кодируются с использованием набора обученных ступенчатых функций. Для облегчения задачи восстановления хронологии из интернет-изображений мы также собираем новый набор данных из четырех сцен, демонстрирующих различные изменения во времени. Мы показываем, что наш метод демонстрирует передовые результаты синтеза изображений на этом наборе данных, обеспечивая независимое управление точкой обзора, временем и освещением.

English

In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.