MoRel: Lange-afstand, flikkervrije 4D-bewegingsmodellering via ankerrelais-gebaseerde bidirectionele blending met hiërarchische verdichting
MoRel: Long-Range Flicker-Free 4D Motion Modeling via Anchor Relay-based Bidirectional Blending with Hierarchical Densification
December 10, 2025
Auteurs: Sangwoon Kwak, Weeyoung Kwon, Jun Young Jeong, Geonho Kim, Won-Sik Cheong, Jihyong Oh
cs.AI
Samenvatting
Recente vooruitgang in 4D Gaussisch Splatten (4DGS) heeft de hoogwaardige renderprestaties van 3D Gaussisch Splatten (3DGS) uitgebreid naar het temporele domein, waardoor real-time weergave van dynamische scènes mogelijk wordt. Een van de grootste resterende uitdagingen ligt echter in het modelleren van dynamische video's met beweging over lange termijn, waarbij een naïeve uitbreiding van bestaande methodes leidt tot ernstig geheugenverbruik, temporele flikkering en het onvermogen om verschijnende of verdwijnende occlusies in de tijd te verwerken. Om deze uitdagingen aan te pakken, stellen we een nieuw 4DGS-raamwerk voor, gekenmerkt door een *Anchor Relay-based Bidirectional Blending* (ARBB)-mechanisme, genaamd MoRel, dat temporeel consistente en geheugenefficiënte modellering van dynamische scènes over lange termijn mogelijk maakt. Onze methode construeert progressief lokaal canonieke ankerruimtes op sleutelframe-tijdstippen en modelleert inter-frame vervormingen op ankerniveau, wat de temporele coherentie verbetert. Door bidirectionele vervormingen tussen de KfA's aan te leren en deze adaptief te blendend via leerbare doorzichtigheidscontrole, vermindert onze aanpak temporele discontinuïteiten en flikkerartefacten. We introduceren verder een *Feature-variance-guided Hierarchical Densification* (FHD)-schema dat de KfA's effectief verdicht met behoud van de renderkwaliteit, gebaseerd op een toegekend niveau van feature-variantie. Om het vermogen van ons model om real-world 4D-beweging over lange termijn te verwerken effectief te evalueren, stellen we een nieuwe dataset samen voor beweging over lange termijn, genaamd SelfCap_{LR}. Deze heeft een grotere gemiddelde dynamische bewegingsomvang en is vastgelegd in ruimtelijk bredere omgevingen vergeleken met eerdere dynamische videodatasets. Over het geheel genomen bereikt onze MoRel temporeel coherente en flikkervrije 4D-reconstructie over lange termijn, met behoud van een begrensd geheugengebruik, wat zowel schaalbaarheid als efficiëntie aantoont in op dynamische Gaussianen gebaseerde representaties.
English
Recent advances in 4D Gaussian Splatting (4DGS) have extended the high-speed rendering capability of 3D Gaussian Splatting (3DGS) into the temporal domain, enabling real-time rendering of dynamic scenes. However, one of the major remaining challenges lies in modeling long-range motion-contained dynamic videos, where a naive extension of existing methods leads to severe memory explosion, temporal flickering, and failure to handle appearing or disappearing occlusions over time. To address these challenges, we propose a novel 4DGS framework characterized by an Anchor Relay-based Bidirectional Blending (ARBB) mechanism, named MoRel, which enables temporally consistent and memory-efficient modeling of long-range dynamic scenes. Our method progressively constructs locally canonical anchor spaces at key-frame time index and models inter-frame deformations at the anchor level, enhancing temporal coherence. By learning bidirectional deformations between KfA and adaptively blending them through learnable opacity control, our approach mitigates temporal discontinuities and flickering artifacts. We further introduce a Feature-variance-guided Hierarchical Densification (FHD) scheme that effectively densifies KfA's while keeping rendering quality, based on an assigned level of feature-variance. To effectively evaluate our model's capability to handle real-world long-range 4D motion, we newly compose long-range 4D motion-contained dataset, called SelfCap_{LR}. It has larger average dynamic motion magnitude, captured at spatially wider spaces, compared to previous dynamic video datasets. Overall, our MoRel achieves temporally coherent and flicker-free long-range 4D reconstruction while maintaining bounded memory usage, demonstrating both scalability and efficiency in dynamic Gaussian-based representations.