SplineGS: Надежный движущийся адаптивный сплайн для динамических трехмерных гауссовских функций в реальном времени из монокулярного видео.

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

December 13, 2024

Авторы: Jongmin Park, Minh-Quan Viet Bui, Juan Luis Gonzalez Bello, Jaeho Moon, Jihyong Oh, Munchurl Kim

cs.AI

Аннотация

Синтез новых видов из видеороликов в естественной среде представляет собой сложную задачу из-за динамики сцены и отсутствия многовидовых подсказок. Для решения этой проблемы мы предлагаем SplineGS, динамическую 3D-систему гауссовского сплетения (3DGS) без использования COLMAP для высококачественной реконструкции и быстрого визуализации из монокулярных видеороликов. В центре этой системы находится новый метод Motion-Adaptive Spline (MAS), который представляет непрерывные динамические 3D-гауссовские траектории с использованием кубических сплайнов Эрмита с небольшим количеством контрольных точек. Для MAS мы вводим метод обрезки контрольных точек Motion-Adaptive Control points Pruning (MACP) для моделирования деформации каждого динамического 3D-гауссовского объекта при различных движениях, постепенно обрезая контрольные точки, сохраняя целостность динамического моделирования. Кроме того, мы представляем совместную стратегию оптимизации для оценки параметров камеры и атрибутов 3D-гауссовских объектов, используя фотометрическую и геометрическую согласованность. Это устраняет необходимость предварительной обработки структуры движения и повышает устойчивость SplineGS в реальных условиях. Эксперименты показывают, что SplineGS значительно превосходит современные методы в качестве синтеза новых видов для динамичных сцен из монокулярных видеороликов, обеспечивая ускорение визуализации в тысячи раз.

English

Synthesizing novel views from in-the-wild monocular videos is challenging due to scene dynamics and the lack of multi-view cues. To address this, we propose SplineGS, a COLMAP-free dynamic 3D Gaussian Splatting (3DGS) framework for high-quality reconstruction and fast rendering from monocular videos. At its core is a novel Motion-Adaptive Spline (MAS) method, which represents continuous dynamic 3D Gaussian trajectories using cubic Hermite splines with a small number of control points. For MAS, we introduce a Motion-Adaptive Control points Pruning (MACP) method to model the deformation of each dynamic 3D Gaussian across varying motions, progressively pruning control points while maintaining dynamic modeling integrity. Additionally, we present a joint optimization strategy for camera parameter estimation and 3D Gaussian attributes, leveraging photometric and geometric consistency. This eliminates the need for Structure-from-Motion preprocessing and enhances SplineGS's robustness in real-world conditions. Experiments show that SplineGS significantly outperforms state-of-the-art methods in novel view synthesis quality for dynamic scenes from monocular videos, achieving thousands times faster rendering speed.