ResFields: Residuelle Neuronale Felder für raumzeitliche Signale

ResFields: Residual Neural Fields for Spatiotemporal Signals

September 6, 2023

Autoren: Marko Mihajlovic, Sergey Prokudin, Marc Pollefeys, Siyu Tang

cs.AI

Zusammenfassung

Neurale Felder, eine Kategorie von neuronalen Netzen, die darauf trainiert sind, hochfrequente Signale darzustellen, haben in den letzten Jahren aufgrund ihrer beeindruckenden Leistung bei der Modellierung komplexer 3D-Daten, insbesondere großer neuronaler signierter Distanzfelder (SDFs) oder Strahlungsfelder (NeRFs) über ein einzelnes mehrschichtiges Perzeptron (MLP), erhebliche Aufmerksamkeit erlangt. Trotz der Leistungsfähigkeit und Einfachheit der Signaldarstellung mit einem MLP stehen diese Methoden jedoch vor Herausforderungen bei der Modellierung großer und komplexer zeitlicher Signale aufgrund der begrenzten Kapazität von MLPs. In diesem Artikel schlagen wir einen effektiven Ansatz vor, um diese Einschränkung zu überwinden, indem wir zeitliche Residuallagen in neuronale Felder integrieren, sogenannte ResFields, eine neuartige Klasse von Netzen, die speziell dafür entwickelt wurde, komplexe zeitliche Signale effektiv darzustellen. Wir führen eine umfassende Analyse der Eigenschaften von ResFields durch und schlagen eine Matrixfaktorisierungstechnik vor, um die Anzahl der trainierbaren Parameter zu reduzieren und die Generalisierungsfähigkeiten zu verbessern. Wichtig ist, dass unsere Formulierung nahtlos mit bestehenden Techniken integriert wird und die Ergebnisse über verschiedene anspruchsvolle Aufgaben hinweg konsequent verbessert: 2D-Videoapproximation, dynamische Formmodellierung über zeitliche SDFs und dynamische NeRF-Rekonstruktion. Schließlich demonstrieren wir den praktischen Nutzen von ResFields, indem wir ihre Effektivität bei der Erfassung dynamischer 3D-Szenen aus spärlichen Sensoreingaben eines leichten Erfassungssystems zeigen.

English

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, especially large neural signed distance (SDFs) or radiance fields (NeRFs) via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields, a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing techniques and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse sensory inputs of a lightweight capture system.