SCas4D: 지속적 4D 신규 시점 합성을 위한 구조적 캐스케이드 최적화

초록

정확한 변형을 포착하면서도 계산 효율성을 유지하는 데 어려움이 있어, 추적 및 새로운 시점 합성을 위한 지속적인 동적 장면 모델링은 여전히 어려운 과제로 남아 있다. 본 연구에서는 동적 장면에서 3D 가우시안 스플래팅의 구조적 패턴을 활용하는 계단형 최적화 프레임워크인 SCas4D를 제안한다. 핵심 아이디어는 실제 세계의 변형이 종종 계층적 패턴을 보이며, 가우시안 그룹이 유사한 변환을 공유한다는 것이다. SCas4D는 거친 부위 수준에서 세밀한 점 수준으로 변형을 점진적으로 개선함으로써, 시간 프레임당 100회 이내의 반복으로 수렴을 달성하며, 기존 방법과 비슷한 결과를 단지 1/20의 학습 반복으로 생성한다. 또한, 이 접근법은 자기 지도 방식의 관절 객체 분할, 새로운 시점 합성, 그리고 밀집 점 추적 작업에서도 효과적임을 입증한다.

English

Persistent dynamic scene modeling for tracking and novel-view synthesis remains challenging due to the difficulty of capturing accurate deformations while maintaining computational efficiency. We propose SCas4D, a cascaded optimization framework that leverages structural patterns in 3D Gaussian Splatting for dynamic scenes. The key idea is that real-world deformations often exhibit hierarchical patterns, where groups of Gaussians share similar transformations. By progressively refining deformations from coarse part-level to fine point-level, SCas4D achieves convergence within 100 iterations per time frame and produces results comparable to existing methods with only one-twentieth of the training iterations. The approach also demonstrates effectiveness in self-supervised articulated object segmentation, novel view synthesis, and dense point tracking tasks.

SCas4D: 지속적 4D 신규 시점 합성을 위한 구조적 캐스케이드 최적화

SCas4D: Structural Cascaded Optimization for Boosting Persistent 4D Novel View Synthesis

초록

Support