ResFields: Residuele Neurale Velden voor Spatiotemporele Signalen

ResFields: Residual Neural Fields for Spatiotemporal Signals

September 6, 2023

Auteurs: Marko Mihajlovic, Sergey Prokudin, Marc Pollefeys, Siyu Tang

cs.AI

Samenvatting

Neurale velden, een categorie van neurale netwerken die zijn getraind om hoogfrequente signalen weer te geven, hebben de afgelopen jaren aanzienlijke aandacht gekregen vanwege hun indrukwekkende prestaties bij het modelleren van complexe 3D-data, met name grote neurale signed distance fields (SDFs) of radiance fields (NeRFs) via een enkel multi-layer perceptron (MLP). Ondanks de kracht en eenvoud van het weergeven van signalen met een MLP, kampen deze methoden nog steeds met uitdagingen bij het modelleren van grote en complexe temporele signalen vanwege de beperkte capaciteit van MLPs. In dit artikel stellen we een effectieve aanpak voor om deze beperking aan te pakken door temporele residulagen te integreren in neurale velden, genaamd ResFields, een nieuwe klasse van netwerken die specifiek zijn ontworpen om complexe temporele signalen effectief weer te geven. We voeren een uitgebreide analyse uit van de eigenschappen van ResFields en stellen een matrixfactorisatietechniek voor om het aantal trainbare parameters te verminderen en de generalisatiecapaciteiten te verbeteren. Belangrijk is dat onze formulering naadloos integreert met bestaande technieken en consistent betere resultaten oplevert bij verschillende uitdagende taken: 2D-video-approximatie, dynamische vormmodellering via temporele SDFs, en dynamische NeRF-reconstructie. Tot slot demonstreren we de praktische bruikbaarheid van ResFields door de effectiviteit ervan te tonen bij het vastleggen van dynamische 3D-scènes vanuit schaarse sensorische inputs van een lichtgewicht capturesysteem.

English

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, especially large neural signed distance (SDFs) or radiance fields (NeRFs) via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields, a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing techniques and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse sensory inputs of a lightweight capture system.