Multi4D : Gaussian Splatting dynamique haute fidélité via allocation compétitive multi-niveaux

Résumé

Le Dynamic 3D Gaussian Splatting est confronté à une tension fondamentale entre cohérence du mouvement et fidélité visuelle. Les approches basées sur la déformation préservent la correspondance temporelle mais souffrent d'une surfactorisation du mouvement, lissant excessivement les dynamiques haute fréquence. En revanche, les méthodes par primitives 4D capturent les détails visuels fins tout en induisant une surparamétrisation temporelle, rompant l'identité des objets et entraînant une lourde surcharge de stockage. Pour résoudre ce problème, nous introduisons Multi4D, un cadre pour le Gaussian Splatting dynamique haute fidélité basé sur une allocation compétitive multi-niveaux. Au lieu d'une représentation monolithique, nous répartissons la capacité de modélisation sur trois niveaux structurés : la structure statique, la géométrie dynamique persistante et les primitives d'apparence transitoire. Grâce à une rastérisation partagée et une optimisation pilotée par les résidus, ces niveaux entrent en compétition dynamique pour expliquer l'erreur photométrique, permettant une spécialisation adaptative sans décomposition pré-attribuée. Cette allocation préserve la cohérence du mouvement à long terme tout en capturant les détails dynamiques fins, atteignant une qualité de rendu de pointe et des performances en temps réel avec significativement moins de primitives dynamiques. De plus, comme notre représentation suit explicitement des Gaussiennes persistantes compactes au fil du temps, des caractéristiques sémantiques peuvent être intégrées par la suite, permettant à Multi4D d'atteindre une précision de segmentation 4D de pointe avec une accélération d'un ordre de grandeur. Page du projet : https://batfacewayne.github.io/Multi4D.io/

English

Dynamic 3D Gaussian splatting faces a fundamental tension between motion consistency and visual fidelity. Deformation-based approaches preserve temporal correspondence but suffer from motion over-factorization, oversmoothing high-frequency dynamics. In contrast, 4D-primitive methods capture fine visual details yet incur temporal overparameterization, breaking object identity and leading to severe storage overhead. To resolve this, we introduce Multi4D, a framework for high-fidelity dynamic Gaussian Splatting based on multi-level competitive allocation. Instead of a monolithic representation, we distribute modeling capacity across three structured levels: static structure, persistent dynamic geometry, and transient appearance primitives. Through shared rasterization and residual-driven optimization, these levels dynamically compete to explain photometric error, enabling adaptive specialization without pre-assigned decomposition. This allocation preserves long-term motion consistency while capturing fine dynamic detail, achieving state-of-the-art rendering quality and real-time performance with significantly fewer dynamic primitives. Furthermore, because our representation explicitly tracks compact persistent Gaussians over time, semantic features can be embedded afterward, enabling Multi4D to achieve state-of-the-art 4D segmentation accuracy with an order-of-magnitude speedup. Project page: https://batfacewayne.github.io/Multi4D.io/