Squeeze3D : Votre modèle de génération 3D est secrètement un compresseur neuronal extrême

Résumé

Nous proposons Squeeze3D, un nouveau cadre qui exploite les connaissances implicites acquises par des modèles génératifs 3D pré-entraînés existants pour compresser des données 3D à des taux de compression extrêmement élevés. Notre approche relie les espaces latents entre un encodeur pré-entraîné et un modèle de génération pré-entraîné via des réseaux de mappage entraînables. Tout modèle 3D représenté sous forme de maillage, de nuage de points ou de champ de radiance est d'abord encodé par l'encodeur pré-entraîné, puis transformé (c'est-à-dire compressé) en un code latent très compact. Ce code latent peut être utilisé efficacement comme une représentation extrêmement compressée du maillage ou du nuage de points. Un réseau de mappage transforme le code latent compressé dans l'espace latent d'un puissant modèle génératif, qui est ensuite conditionné pour recréer le modèle 3D original (c'est-à-dire la décompression). Squeeze3D est entièrement entraîné sur des données synthétiques générées et ne nécessite aucun ensemble de données 3D. L'architecture de Squeeze3D peut être utilisée de manière flexible avec des encodeurs 3D pré-entraînés existants et des modèles génératifs existants. Elle peut prendre en charge de manière flexible différents formats, y compris les maillages, les nuages de points et les champs de radiance. Nos expériences démontrent que Squeeze3D atteint des taux de compression allant jusqu'à 2187x pour les maillages texturés, 55x pour les nuages de points et 619x pour les champs de radiance, tout en maintenant une qualité visuelle comparable à de nombreuses méthodes existantes. Squeeze3D n'entraîne qu'une faible latence de compression et de décompression, car il ne nécessite pas l'entraînement de réseaux spécifiques à un objet pour compresser celui-ci.

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.

Squeeze3D : Votre modèle de génération 3D est secrètement un compresseur neuronal extrême

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

Résumé

Support