MoRel: Дальнодействующее бесшумное 4D-моделирование движения на основе ретрансляции якорей с двунаправленным смешиванием и иерархическим уплотнением
MoRel: Long-Range Flicker-Free 4D Motion Modeling via Anchor Relay-based Bidirectional Blending with Hierarchical Densification
December 10, 2025
Авторы: Sangwoon Kwak, Weeyoung Kwon, Jun Young Jeong, Geonho Kim, Won-Sik Cheong, Jihyong Oh
cs.AI
Аннотация
Последние достижения в области 4D гауссовского размытия (4DGS) расширили возможности высокоскоростного рендеринга 3D гауссовского размытия (3DGS) во временную область, обеспечивая рендеринг динамических сцен в реальном времени. Однако одной из основных сохраняющихся проблем является моделирование длительных динамических видео, содержащих движение, где простое расширение существующих методов приводит к значительному росту потребления памяти, временному мерцанию и неспособности обрабатывать возникающие или исчезающие окклюзии с течением времени. Для решения этих задач мы предлагаем новую структуру 4DGS, характеризующуюся механизмом двунаправленного смешивания на основе ретрансляции якорей (ARBB), под названием MoRel, которая обеспечивает временно-согласованное и эффективное по памяти моделирование длительных динамических сцен. Наш метод прогрессивно строит локально канонические якорные пространства в ключевые моменты времени и моделирует межкадровые деформации на уровне якорей, повышая временную согласованность. Обучая двунаправленные деформации между KfA и адаптивно смешивая их с помощью обучаемого управления непрозрачностью, наш подход смягчает временные разрывы и артефакты мерцания. Мы дополнительно вводим схему иерархического уплотнения с управлением по дисперсии признаков (FHD), которая эффективно уплотняет KfA, сохраняя качество рендеринга, на основе назначенного уровня дисперсии признаков. Для эффективной оценки способности нашей модели обрабатывать длительные 4D-движения в реальном мире мы создали новый набор данных, содержащий длительные 4D-движения, под названием SelfCap_{LR}. По сравнению с предыдущими наборами данных динамического видео, он имеет большую среднюю величину динамического движения и снят в более широких пространственных областях. В целом, наш MoRel обеспечивает временно-согласованную и свободную от мерцания реконструкцию длительных 4D-сцен при сохранении ограниченного использования памяти, демонстрируя как масштабируемость, так и эффективность в динамических представлениях на основе гауссовских функций.
English
Recent advances in 4D Gaussian Splatting (4DGS) have extended the high-speed rendering capability of 3D Gaussian Splatting (3DGS) into the temporal domain, enabling real-time rendering of dynamic scenes. However, one of the major remaining challenges lies in modeling long-range motion-contained dynamic videos, where a naive extension of existing methods leads to severe memory explosion, temporal flickering, and failure to handle appearing or disappearing occlusions over time. To address these challenges, we propose a novel 4DGS framework characterized by an Anchor Relay-based Bidirectional Blending (ARBB) mechanism, named MoRel, which enables temporally consistent and memory-efficient modeling of long-range dynamic scenes. Our method progressively constructs locally canonical anchor spaces at key-frame time index and models inter-frame deformations at the anchor level, enhancing temporal coherence. By learning bidirectional deformations between KfA and adaptively blending them through learnable opacity control, our approach mitigates temporal discontinuities and flickering artifacts. We further introduce a Feature-variance-guided Hierarchical Densification (FHD) scheme that effectively densifies KfA's while keeping rendering quality, based on an assigned level of feature-variance. To effectively evaluate our model's capability to handle real-world long-range 4D motion, we newly compose long-range 4D motion-contained dataset, called SelfCap_{LR}. It has larger average dynamic motion magnitude, captured at spatially wider spaces, compared to previous dynamic video datasets. Overall, our MoRel achieves temporally coherent and flicker-free long-range 4D reconstruction while maintaining bounded memory usage, demonstrating both scalability and efficiency in dynamic Gaussian-based representations.