MoDec-GS: Глобальное к Локальному Декомпозиция Движения и Временная Интервальная Коррекция для Компактного Динамического 3D Гауссовского Сплетения

MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

January 7, 2025

Авторы: Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

cs.AI

Аннотация

3D Гауссово сплетение (3DGS) сделало значительные успехи в представлении сцен и нейронной генерации изображений, с акцентом на адаптацию для динамических сцен. Несмотря на впечатляющее качество и скорость визуализации, существующие методы сталкиваются с проблемами хранения и представления сложных движений в реальном мире. Для решения этих проблем мы предлагаем MoDecGS, эффективную по памяти среду для гауссова сплетения, разработанную для восстановления новых видов в сложных сценариях с динамическими движениями. Мы представляем Глобально-Локальное Декомпозиция Движения (GLMD) для эффективного захвата динамических движений от грубого к тонкому. Этот подход использует Глобальные Канонические Каркасы (Global CS) и Локальные Канонические Каркасы (Local CS), расширяя статическое представление Каркаса до динамической реконструкции видео. Для Global CS мы предлагаем Глобальное Деформирование Якоря (GAD) для эффективного представления глобальной динамики вдоль сложных движений, путем прямого деформирования неявных атрибутов Каркаса, таких как позиция якоря, смещение и локальные контекстные особенности. Затем мы тонко корректируем локальные движения через Локальное Гауссово Деформирование (LGD) Локального CS. Кроме того, мы вводим Регулирование Временного Интервала (TIA) для автоматического контроля временного охвата каждого Локального CS во время обучения, позволяя MoDecGS находить оптимальные интервальные назначения на основе указанного количества временных сегментов. Обширные оценки показывают, что MoDecGS достигает среднего снижения размера модели на 70% по сравнению с передовыми методами для динамических 3D Гауссов из реальных видео с динамическими сценами, сохраняя или даже улучшая качество визуализации.

English

3D Gaussian Splatting (3DGS) has made significant strides in scene representation and neural rendering, with intense efforts focused on adapting it for dynamic scenes. Despite delivering remarkable rendering quality and speed, existing methods struggle with storage demands and representing complex real-world motions. To tackle these issues, we propose MoDecGS, a memory-efficient Gaussian splatting framework designed for reconstructing novel views in challenging scenarios with complex motions. We introduce GlobaltoLocal Motion Decomposition (GLMD) to effectively capture dynamic motions in a coarsetofine manner. This approach leverages Global Canonical Scaffolds (Global CS) and Local Canonical Scaffolds (Local CS), extending static Scaffold representation to dynamic video reconstruction. For Global CS, we propose Global Anchor Deformation (GAD) to efficiently represent global dynamics along complex motions, by directly deforming the implicit Scaffold attributes which are anchor position, offset, and local context features. Next, we finely adjust local motions via the Local Gaussian Deformation (LGD) of Local CS explicitly. Additionally, we introduce Temporal Interval Adjustment (TIA) to automatically control the temporal coverage of each Local CS during training, allowing MoDecGS to find optimal interval assignments based on the specified number of temporal segments. Extensive evaluations demonstrate that MoDecGS achieves an average 70% reduction in model size over stateoftheart methods for dynamic 3D Gaussians from realworld dynamic videos while maintaining or even improving rendering quality.