Multi4D: Hoge-getrouwheid Dynamische Gaussian Splatting via Meerniveau Concurrentie Toewijzing

Samenvatting

Dynamische 3D Gaussische splatting staat voor een fundamentele spanning tussen bewegingsconsistentie en visuele getrouwheid. Op vervorming gebaseerde benaderingen behouden temporele correspondentie, maar lijden onder over-factorisatie van beweging, wat hoogfrequente dynamiek overmatig gladstrijkt. Daarentegen leggen 4D-primitieve methoden fijne visuele details vast, maar brengen temporele overparameterisatie met zich mee, wat de objectidentiteit doorbreekt en leidt tot ernstige opslagoverhead. Om dit op te lossen introduceren we Multi4D, een raamwerk voor hoog-getrouwe dynamische Gaussische splatting op basis van meerlaagse competitieve allocatie. In plaats van een monolitische representatie verdelen we de modelleercapaciteit over drie gestructureerde niveaus: statische structuur, persistente dynamische geometrie en tijdelijke verschijningsprimitieven. Door middel van gedeelde rasterisatie en residu-gestuurde optimalisatie concurreren deze niveaus dynamisch om de fotometrische fout te verklaren, wat adaptieve specialisatie mogelijk maakt zonder vooraf toegewezen decompositie. Deze allocatie behoudt bewegingsconsistentie op lange termijn terwijl fijne dynamische details worden vastgelegd, resulterend in state-of-the-art weergavekwaliteit en real-time prestaties met aanzienlijk minder dynamische primitieven. Bovendien, omdat onze representatie expliciet compacte persistente Gaussianen in de loop van de tijd bijhoudt, kunnen semantische kenmerken achteraf worden ingebed, waardoor Multi4D state-of-the-art 4D-segmentatienauwkeurigheid bereikt met een orde-van-grootte versnelling. Projectpagina: https://batfacewayne.github.io/Multi4D.io/

English

Dynamic 3D Gaussian splatting faces a fundamental tension between motion consistency and visual fidelity. Deformation-based approaches preserve temporal correspondence but suffer from motion over-factorization, oversmoothing high-frequency dynamics. In contrast, 4D-primitive methods capture fine visual details yet incur temporal overparameterization, breaking object identity and leading to severe storage overhead. To resolve this, we introduce Multi4D, a framework for high-fidelity dynamic Gaussian Splatting based on multi-level competitive allocation. Instead of a monolithic representation, we distribute modeling capacity across three structured levels: static structure, persistent dynamic geometry, and transient appearance primitives. Through shared rasterization and residual-driven optimization, these levels dynamically compete to explain photometric error, enabling adaptive specialization without pre-assigned decomposition. This allocation preserves long-term motion consistency while capturing fine dynamic detail, achieving state-of-the-art rendering quality and real-time performance with significantly fewer dynamic primitives. Furthermore, because our representation explicitly tracks compact persistent Gaussians over time, semantic features can be embedded afterward, enabling Multi4D to achieve state-of-the-art 4D segmentation accuracy with an order-of-magnitude speedup. Project page: https://batfacewayne.github.io/Multi4D.io/