MoRel: アンカーレレーに基づく双方向ブレンディングと階層的稠密化による長距離フリッカーフリー4Dモーションモデリング
MoRel: Long-Range Flicker-Free 4D Motion Modeling via Anchor Relay-based Bidirectional Blending with Hierarchical Densification
December 10, 2025
著者: Sangwoon Kwak, Weeyoung Kwon, Jun Young Jeong, Geonho Kim, Won-Sik Cheong, Jihyong Oh
cs.AI
要旨
4Dガウシアンスプラッティング（4DGS）の最近の進展により、3Dガウシアンスプラッティング（3DGS）の高速レンダリング能力が時間領域に拡張され、動的シーンのリアルタイムレンダリングが可能となった。しかし、残る主要な課題の一つは、長期的な動きを含む動的ビデオのモデリングである。既存手法を単純に拡張すると、深刻なメモリ爆発、時間的なフリッカー、時間経過に伴う出現・消失オクルージョンの処理失敗が生じる。これらの課題に対処するため、我々はAnchor Relayに基づく双方向ブレンディング（ARBB）機構を特徴とする新しい4DGSフレームワーク、MoRelを提案する。本手法は、長期的な動的シーンを時間的に一貫性があり、メモリ効率的にモデリングする。我々の手法は、キーフレーム時間インデックスにおいて局所的な正準アンカー空間を段階的に構築し、アンカーレベルでフレーム間変形をモデル化することで、時間的一貫性を強化する。キーフレームアンカー（KfA）間の双方向変形を学習し、学習可能な不透明度制御を通じて適応的にブレンドすることで、時間的な不連続性とフリッカーアーティファクトを軽減する。さらに、特徴量分散に基づいてレンダリング品質を維持しつつKfAを効果的に高密度化する、特徴量分散誘導型階層的高密度化（FHD）スキームを導入する。実世界の長期的4Dモーション処理能力を効果的に評価するため、SelfCap_{LR}と呼ぶ新たな長期的4Dモーション包含データセットを構築した。これは、従来の動的ビデオデータセットと比較して、平均動的モーション量が大きく、空間的に広い範囲でキャプチャされている。全体として、我々のMoRelは、メモリ使用量を抑えつつ、時間的に一貫性がありフリッカーのない長期的4D再構成を実現し、動的ガウシアンベース表現における拡張性と効率性の両方を実証している。
English
Recent advances in 4D Gaussian Splatting (4DGS) have extended the high-speed rendering capability of 3D Gaussian Splatting (3DGS) into the temporal domain, enabling real-time rendering of dynamic scenes. However, one of the major remaining challenges lies in modeling long-range motion-contained dynamic videos, where a naive extension of existing methods leads to severe memory explosion, temporal flickering, and failure to handle appearing or disappearing occlusions over time. To address these challenges, we propose a novel 4DGS framework characterized by an Anchor Relay-based Bidirectional Blending (ARBB) mechanism, named MoRel, which enables temporally consistent and memory-efficient modeling of long-range dynamic scenes. Our method progressively constructs locally canonical anchor spaces at key-frame time index and models inter-frame deformations at the anchor level, enhancing temporal coherence. By learning bidirectional deformations between KfA and adaptively blending them through learnable opacity control, our approach mitigates temporal discontinuities and flickering artifacts. We further introduce a Feature-variance-guided Hierarchical Densification (FHD) scheme that effectively densifies KfA's while keeping rendering quality, based on an assigned level of feature-variance. To effectively evaluate our model's capability to handle real-world long-range 4D motion, we newly compose long-range 4D motion-contained dataset, called SelfCap_{LR}. It has larger average dynamic motion magnitude, captured at spatially wider spaces, compared to previous dynamic video datasets. Overall, our MoRel achieves temporally coherent and flicker-free long-range 4D reconstruction while maintaining bounded memory usage, demonstrating both scalability and efficiency in dynamic Gaussian-based representations.