Multi4D: 다단계 경쟁 할당을 통한 고충실도 동적 가우시안 스플래팅

초록

동적 3D 가우시안 스플래팅은 움직임 일관성과 시각적 충실도 사이의 근본적인 긴장 관계에 직면해 있다. 변형 기반 접근 방식은 시간적 대응 관계를 유지하지만, 움직임의 과분해화로 인해 고주파 역학이 과도하게 평활화되는 문제가 있다. 반면, 4D 프리미티브 방법은 미세한 시각적 세부 정보를 포착하지만 시간적 과잉 매개변수화를 초래하여 객체 정체성을 깨뜨리고 심각한 저장 공간 오버헤드를 유발한다. 이를 해결하기 위해, 우리는 다중 수준 경쟁적 할당에 기반한 고충실도 동적 가우시안 스플래팅 프레임워크인 Multi4D를 제안한다. 단일 표현 대신, 모델링 용량을 세 가지 구조화된 수준(정적 구조, 지속적 동적 기하, 과도적 외형 프리미티브)에 분산한다. 공유 래스터화와 잔차 기반 최적화를 통해, 이 수준들은 동적으로 경쟁하여 측광 오차를 설명하며, 사전 할당된 분해 없이 적응적 전문화를 가능하게 한다. 이 할당은 장기 움직임 일관성을 유지하면서 미세한 동적 세부 정보를 포착하여, 훨씬 적은 수의 동적 프리미티브로 최첨단 렌더링 품질과 실시간 성능을 달성한다. 또한, 우리의 표현은 시간에 따라 컴팩트한 지속적 가우시안을 명시적으로 추적하므로, 이후에 의미론적 특징을 내장할 수 있으며, 이를 통해 Multi4D는 최첨단 4D 분할 정확도를 달성하면서도 한 자릿수 속도 향상을 이룬다. 프로젝트 페이지: https://batfacewayne.github.io/Multi4D.io/

English

Dynamic 3D Gaussian splatting faces a fundamental tension between motion consistency and visual fidelity. Deformation-based approaches preserve temporal correspondence but suffer from motion over-factorization, oversmoothing high-frequency dynamics. In contrast, 4D-primitive methods capture fine visual details yet incur temporal overparameterization, breaking object identity and leading to severe storage overhead. To resolve this, we introduce Multi4D, a framework for high-fidelity dynamic Gaussian Splatting based on multi-level competitive allocation. Instead of a monolithic representation, we distribute modeling capacity across three structured levels: static structure, persistent dynamic geometry, and transient appearance primitives. Through shared rasterization and residual-driven optimization, these levels dynamically compete to explain photometric error, enabling adaptive specialization without pre-assigned decomposition. This allocation preserves long-term motion consistency while capturing fine dynamic detail, achieving state-of-the-art rendering quality and real-time performance with significantly fewer dynamic primitives. Furthermore, because our representation explicitly tracks compact persistent Gaussians over time, semantic features can be embedded afterward, enabling Multi4D to achieve state-of-the-art 4D segmentation accuracy with an order-of-magnitude speedup. Project page: https://batfacewayne.github.io/Multi4D.io/