Multi4D: Splatting Gaussiano Dinâmico de Alta Fidelidade via Alocação Competitiva em Múltiplos Níveis

Resumo

O splatting Gaussiano 3D dinâmico enfrenta uma tensão fundamental entre consistência de movimento e fidelidade visual. Abordagens baseadas em deformação preservam a correspondência temporal, mas sofrem de sobre-fatorização do movimento, suavizando excessivamente as dinâmicas de alta frequência. Em contraste, métodos de primitivas 4D capturam detalhes visuais finos, porém incorrem em sobre-parametrização temporal, quebrando a identidade do objeto e levando a uma sobrecarga severa de armazenamento. Para resolver isso, apresentamos o Multi4D, um framework para splatting Gaussiano dinâmico de alta fidelidade baseado em alocação competitiva multinível. Em vez de uma representação monolítica, distribuímos a capacidade de modelagem em três níveis estruturados: estrutura estática, geometria dinâmica persistente e primitivas de aparência transitória. Através de rasterização compartilhada e otimização orientada por resíduos, esses níveis competem dinamicamente para explicar o erro fotométrico, permitindo especialização adaptativa sem decomposição pré-atribuída. Essa alocação preserva a consistência de movimento de longo prazo enquanto captura detalhes dinâmicos finos, alcançando qualidade de renderização de ponta e desempenho em tempo real com significativamente menos primitivas dinâmicas. Além disso, como nossa representação rastreia explicitamente Gaussianos persistentes compactos ao longo do tempo, características semânticas podem ser incorporadas posteriormente, permitindo que o Multi4D alcance precisão de segmentação 4D de ponta com um aumento de velocidade de uma ordem de grandeza. Página do projeto: https://batfacewayne.github.io/Multi4D.io/

English

Dynamic 3D Gaussian splatting faces a fundamental tension between motion consistency and visual fidelity. Deformation-based approaches preserve temporal correspondence but suffer from motion over-factorization, oversmoothing high-frequency dynamics. In contrast, 4D-primitive methods capture fine visual details yet incur temporal overparameterization, breaking object identity and leading to severe storage overhead. To resolve this, we introduce Multi4D, a framework for high-fidelity dynamic Gaussian Splatting based on multi-level competitive allocation. Instead of a monolithic representation, we distribute modeling capacity across three structured levels: static structure, persistent dynamic geometry, and transient appearance primitives. Through shared rasterization and residual-driven optimization, these levels dynamically compete to explain photometric error, enabling adaptive specialization without pre-assigned decomposition. This allocation preserves long-term motion consistency while capturing fine dynamic detail, achieving state-of-the-art rendering quality and real-time performance with significantly fewer dynamic primitives. Furthermore, because our representation explicitly tracks compact persistent Gaussians over time, semantic features can be embedded afterward, enabling Multi4D to achieve state-of-the-art 4D segmentation accuracy with an order-of-magnitude speedup. Project page: https://batfacewayne.github.io/Multi4D.io/