ChatPaper.aiChatPaper

ResFields: Остаточные нейронные поля для пространственно-временных сигналов

ResFields: Residual Neural Fields for Spatiotemporal Signals

September 6, 2023
Авторы: Marko Mihajlovic, Sergey Prokudin, Marc Pollefeys, Siyu Tang
cs.AI

Аннотация

Нейронные поля, категория нейронных сетей, обученных для представления высокочастотных сигналов, привлекли значительное внимание в последние годы благодаря их впечатляющей производительности в моделировании сложных 3D данных, особенно больших нейронных полей знаковых расстояний (SDF) или полей излучения (NeRF) с использованием одного многослойного перцептрона (MLP). Однако, несмотря на мощь и простоту представления сигналов с помощью MLP, эти методы всё ещё сталкиваются с трудностями при моделировании больших и сложных временных сигналов из-за ограниченной ёмкости MLP. В данной статье мы предлагаем эффективный подход для преодоления этого ограничения путём включения временных остаточных слоёв в нейронные поля, названные ResFields, — новый класс сетей, специально разработанных для эффективного представления сложных временных сигналов. Мы проводим всесторонний анализ свойств ResFields и предлагаем метод факторизации матриц для уменьшения количества обучаемых параметров и повышения обобщающей способности. Важно отметить, что наша формулировка легко интегрируется с существующими методами и последовательно улучшает результаты в различных сложных задачах: аппроксимации 2D видео, моделировании динамических форм с помощью временных SDF и реконструкции динамических NeRF. Наконец, мы демонстрируем практическую полезность ResFields, показывая их эффективность в захвате динамических 3D сцен из разреженных сенсорных данных лёгкой системы захвата.
English
Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, especially large neural signed distance (SDFs) or radiance fields (NeRFs) via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields, a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing techniques and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse sensory inputs of a lightweight capture system.
PDF80December 15, 2024