SCas4D: 持続的4D新視点合成の強化のための構造的カスケード最適化

要旨

持続的な動的シーンモデリングによる追跡と新視点合成は、計算効率を維持しながら正確な変形を捉えることの難しさから、依然として課題となっている。本研究では、動的シーンにおける3Dガウススプラッティングの構造的パターンを活用するカスケード最適化フレームワークであるSCas4Dを提案する。その核となる考え方は、現実世界の変形はしばしば階層的なパターンを示し、ガウシアンのグループが類似の変換を共有するというものである。SCas4Dは、粗いパートレベルから細かいポイントレベルへと変形を段階的に洗練させることで、1タイムフレームあたり100回の反復で収束し、既存手法と同等の結果をトレーニング回数の20分の1で達成する。このアプローチは、自己教師ありの関節オブジェクトセグメンテーション、新視点合成、密なポイント追跡タスクにおいても有効性を示している。

English

Persistent dynamic scene modeling for tracking and novel-view synthesis remains challenging due to the difficulty of capturing accurate deformations while maintaining computational efficiency. We propose SCas4D, a cascaded optimization framework that leverages structural patterns in 3D Gaussian Splatting for dynamic scenes. The key idea is that real-world deformations often exhibit hierarchical patterns, where groups of Gaussians share similar transformations. By progressively refining deformations from coarse part-level to fine point-level, SCas4D achieves convergence within 100 iterations per time frame and produces results comparable to existing methods with only one-twentieth of the training iterations. The approach also demonstrates effectiveness in self-supervised articulated object segmentation, novel view synthesis, and dense point tracking tasks.

SCas4D: 持続的4D新視点合成の強化のための構造的カスケード最適化

SCas4D: Structural Cascaded Optimization for Boosting Persistent 4D Novel View Synthesis

要旨

Support