신경 장면 연대기

초록

본 연구에서는 인터넷 사진을 통해 대규모 랜드마크의 시간에 따라 변화하는 3D 모델을 재구성하고, 시점, 조명, 시간을 독립적으로 제어할 수 있는 사실적인 렌더링을 구현하는 것을 목표로 합니다. 핵심적인 과제는 두 가지입니다. 첫째, 조명 변화와 장면 자체의 변화(예: 그래피티 작품 교체)와 같은 다양한 유형의 시간적 변화가 이미지에서 서로 얽혀 있다는 점입니다. 둘째, 장면 수준의 시간적 변화는 연속적이기보다는 이산적이고 산발적으로 발생하는 경향이 있습니다. 이러한 문제를 해결하기 위해, 우리는 이산적인 장면 수준의 내용 변화를 시간에 따라 조각별 상수 함수로 모델링할 수 있는 새로운 시간적 계단 함수 인코딩 방법을 갖춘 장면 표현 방식을 제안합니다. 구체적으로, 우리는 장면을 공간-시간 복사 필드로 표현하고, 각 이미지에 대한 조명 임베딩을 사용하며, 시간에 따라 변화하는 장면 변화는 학습된 계단 함수 집합을 통해 인코딩합니다. 인터넷 이미지로부터 연대기 재구성을 용이하게 하기 위해, 우리는 시간에 따라 다양한 변화를 보이는 네 개의 장면으로 구성된 새로운 데이터셋을 수집했습니다. 우리는 이 데이터셋에서 최첨단의 시점 합성 결과를 보여주면서도 시점, 시간, 조명을 독립적으로 제어할 수 있음을 입증합니다.

English

In this work, we aim to reconstruct a time-varying 3D model, capable of rendering photo-realistic renderings with independent control of viewpoint, illumination, and time, from Internet photos of large-scale landmarks. The core challenges are twofold. First, different types of temporal changes, such as illumination and changes to the underlying scene itself (such as replacing one graffiti artwork with another) are entangled together in the imagery. Second, scene-level temporal changes are often discrete and sporadic over time, rather than continuous. To tackle these problems, we propose a new scene representation equipped with a novel temporal step function encoding method that can model discrete scene-level content changes as piece-wise constant functions over time. Specifically, we represent the scene as a space-time radiance field with a per-image illumination embedding, where temporally-varying scene changes are encoded using a set of learned step functions. To facilitate our task of chronology reconstruction from Internet imagery, we also collect a new dataset of four scenes that exhibit various changes over time. We demonstrate that our method exhibits state-of-the-art view synthesis results on this dataset, while achieving independent control of viewpoint, time, and illumination.

신경 장면 연대기

Neural Scene Chronology

초록

Support