ResFields: Campos Neurais Residuais para Sinais Espaço-Temporais

ResFields: Residual Neural Fields for Spatiotemporal Signals

September 6, 2023

Autores: Marko Mihajlovic, Sergey Prokudin, Marc Pollefeys, Siyu Tang

cs.AI

Resumo

Campos neurais, uma categoria de redes neurais treinadas para representar sinais de alta frequência, têm ganhado atenção significativa nos últimos anos devido ao seu desempenho impressionante na modelagem de dados 3D complexos, especialmente grandes campos de distância assinada neural (SDFs) ou campos de radiação (NeRFs) por meio de um único perceptron multicamadas (MLP). No entanto, apesar do poder e da simplicidade de representar sinais com um MLP, esses métodos ainda enfrentam desafios ao modelar sinais temporais grandes e complexos devido à capacidade limitada dos MLPs. Neste artigo, propomos uma abordagem eficaz para superar essa limitação ao incorporar camadas residuais temporais em campos neurais, denominadas ResFields, uma nova classe de redes projetadas especificamente para representar eficazmente sinais temporais complexos. Realizamos uma análise abrangente das propriedades dos ResFields e propomos uma técnica de fatoração de matrizes para reduzir o número de parâmetros treináveis e aprimorar as capacidades de generalização. Importante destacar que nossa formulação se integra perfeitamente com técnicas existentes e melhora consistentemente os resultados em várias tarefas desafiadoras: aproximação de vídeos 2D, modelagem de formas dinâmicas via SDFs temporais e reconstrução dinâmica de NeRFs. Por fim, demonstramos a utilidade prática dos ResFields ao mostrar sua eficácia na captura de cenas 3D dinâmicas a partir de entradas sensoriais esparsas de um sistema de captura leve.

English

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, especially large neural signed distance (SDFs) or radiance fields (NeRFs) via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields, a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing techniques and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse sensory inputs of a lightweight capture system.