Optimisation minimale du splatting 3D par Gaussiennes

Optimized Minimal 3D Gaussian Splatting

March 21, 2025

Auteurs: Joo Chan Lee, Jong Hwan Ko, Eunbyung Park

cs.AI

Résumé

Le 3D Gaussian Splatting (3DGS) s'est imposé comme une représentation puissante pour le rendu en temps réel et haute performance, ouvrant la voie à une large gamme d'applications. Cependant, la représentation de scènes 3D avec un grand nombre de primitives gaussiennes explicites entraîne un surcoût significatif en termes de stockage et de mémoire. Des études récentes ont montré qu'un rendu de haute qualité peut être obtenu avec un nombre considérablement réduit de gaussiennes lorsqu'elles sont représentées avec des attributs de haute précision. Néanmoins, les méthodes de compression 3DGS existantes reposent encore sur un nombre relativement important de gaussiennes, se concentrant principalement sur la compression des attributs. Cela s'explique par le fait qu'un ensemble plus restreint de gaussiennes devient de plus en plus sensible à la compression d'attributs avec perte, entraînant une dégradation sévère de la qualité. Étant donné que le nombre de gaussiennes est directement lié aux coûts de calcul, il est essentiel de réduire efficacement ce nombre plutôt que d'optimiser uniquement le stockage. Dans cet article, nous proposons la représentation Optimized Minimal Gaussians (OMG), qui réduit considérablement le stockage tout en utilisant un nombre minimal de primitives. Premièrement, nous identifions les gaussiennes distinctes parmi celles qui sont proches, minimisant ainsi la redondance sans sacrifier la qualité. Deuxièmement, nous proposons une représentation compacte et précise des attributs qui capture efficacement à la fois la continuité et l'irrégularité entre les primitives. De plus, nous proposons une technique de quantification sous-vectorielle pour améliorer la représentation de l'irrégularité, tout en maintenant un entraînement rapide avec une taille de codebook négligeable. Des expériences approfondies démontrent qu'OMG réduit les besoins de stockage de près de 50 % par rapport à l'état de l'art précédent et permet un rendu à plus de 600 FPS tout en conservant une qualité de rendu élevée. Notre code source est disponible à l'adresse https://maincold2.github.io/omg/.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful representation for real-time, high-performance rendering, enabling a wide range of applications. However, representing 3D scenes with numerous explicit Gaussian primitives imposes significant storage and memory overhead. Recent studies have shown that high-quality rendering can be achieved with a substantially reduced number of Gaussians when represented with high-precision attributes. Nevertheless, existing 3DGS compression methods still rely on a relatively large number of Gaussians, focusing primarily on attribute compression. This is because a smaller set of Gaussians becomes increasingly sensitive to lossy attribute compression, leading to severe quality degradation. Since the number of Gaussians is directly tied to computational costs, it is essential to reduce the number of Gaussians effectively rather than only optimizing storage. In this paper, we propose Optimized Minimal Gaussians representation (OMG), which significantly reduces storage while using a minimal number of primitives. First, we determine the distinct Gaussian from the near ones, minimizing redundancy without sacrificing quality. Second, we propose a compact and precise attribute representation that efficiently captures both continuity and irregularity among primitives. Additionally, we propose a sub-vector quantization technique for improved irregularity representation, maintaining fast training with a negligible codebook size. Extensive experiments demonstrate that OMG reduces storage requirements by nearly 50% compared to the previous state-of-the-art and enables 600+ FPS rendering while maintaining high rendering quality. Our source code is available at https://maincold2.github.io/omg/.