ResFields: 시공간 신호를 위한 잔차 신경 필드

ResFields: Residual Neural Fields for Spatiotemporal Signals

September 6, 2023

저자: Marko Mihajlovic, Sergey Prokudin, Marc Pollefeys, Siyu Tang

cs.AI

초록

고주파 신호를 표현하도록 훈련된 신경망의 한 범주인 뉴럴 필드(Neural Fields)는 최근 복잡한 3D 데이터, 특히 단일 다층 퍼셉트론(MLP)을 통해 대규모 신경 부호 거리(SDF) 또는 방사 필드(NeRF)를 모델링하는 데 있어 인상적인 성능을 보이며 상당한 주목을 받고 있습니다. 그러나 MLP를 사용하여 신호를 표현하는 방법이 강력하고 간단함에도 불구하고, MLP의 제한된 용량으로 인해 크고 복잡한 시간적 신호를 모델링할 때 여전히 어려움에 직면합니다. 본 논문에서는 이러한 한계를 해결하기 위해 시간적 잔차 레이어를 뉴럴 필드에 통합하는 효과적인 접근 방식을 제안하며, 이를 ResFields라고 명명합니다. ResFields는 복잡한 시간적 신호를 효과적으로 표현하도록 특별히 설계된 새로운 클래스의 네트워크입니다. 우리는 ResFields의 특성을 포괄적으로 분석하고, 학습 가능한 매개변수의 수를 줄이고 일반화 능력을 향상시키기 위한 행렬 분해 기법을 제안합니다. 특히, 우리의 공식화는 기존 기술과 원활하게 통합되며, 2D 비디오 근사, 시간적 SDF를 통한 동적 형태 모델링, 동적 NeRF 재구성과 같은 다양한 도전적인 작업에서 일관되게 결과를 개선합니다. 마지막으로, 경량 캡처 시스템의 희소한 센서 입력으로부터 동적 3D 장면을 포착하는 데 ResFields의 실용적인 유용성을 입증합니다.

English

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, especially large neural signed distance (SDFs) or radiance fields (NeRFs) via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields, a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing techniques and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse sensory inputs of a lightweight capture system.