ResFields: Campi Neurali Residui per Segnali Spaziotemporali

ResFields: Residual Neural Fields for Spatiotemporal Signals

September 6, 2023

Autori: Marko Mihajlovic, Sergey Prokudin, Marc Pollefeys, Siyu Tang

cs.AI

Abstract

I campi neurali, una categoria di reti neurali addestrate a rappresentare segnali ad alta frequenza, hanno attirato notevole attenzione negli ultimi anni grazie alle loro prestazioni impressionanti nella modellazione di dati 3D complessi, in particolare grandi campi di distanza con segno (SDF) o campi di radianza (NeRF) attraverso un singolo percettrone multistrato (MLP). Tuttavia, nonostante la potenza e la semplicità della rappresentazione dei segnali con un MLP, questi metodi incontrano ancora difficoltà nella modellazione di segnali temporali ampi e complessi a causa della capacità limitata degli MLP. In questo articolo, proponiamo un approccio efficace per affrontare questa limitazione incorporando strati residui temporali nei campi neurali, denominati ResFields, una nuova classe di reti progettata specificamente per rappresentare in modo efficace segnali temporali complessi. Effettuiamo un'analisi completa delle proprietà dei ResFields e proponiamo una tecnica di fattorizzazione matriciale per ridurre il numero di parametri addestrabili e migliorare le capacità di generalizzazione. È importante sottolineare che la nostra formulazione si integra perfettamente con le tecniche esistenti e migliora costantemente i risultati in vari compiti impegnativi: approssimazione di video 2D, modellazione di forme dinamiche tramite SDF temporali e ricostruzione di NeRF dinamici. Infine, dimostriamo l'utilità pratica dei ResFields mostrando la loro efficacia nel catturare scene 3D dinamiche da input sensoriali sparsi di un sistema di acquisizione leggero.

English

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, especially large neural signed distance (SDFs) or radiance fields (NeRFs) via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields, a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing techniques and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse sensory inputs of a lightweight capture system.