Squeeze3D: Je 3D-generatiemodel is stiekem een extreme neurale compressor

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

June 9, 2025

Auteurs: Rishit Dagli, Yushi Guan, Sankeerth Durvasula, Mohammadreza Mofayezi, Nandita Vijaykumar

cs.AI

Samenvatting

Wij stellen Squeeze3D voor, een nieuw raamwerk dat gebruikmaakt van impliciete voorkennis die is geleerd door bestaande vooraf getrainde 3D-generatieve modellen om 3D-data te comprimeren met extreem hoge compressieverhoudingen. Onze aanpak verbindt de latente ruimtes tussen een vooraf getrainde encoder en een vooraf getraind generatiemodel via trainbare mapping-netwerken. Elk 3D-model dat wordt weergegeven als een mesh, puntenwolk of radiance field wordt eerst gecodeerd door de vooraf getrainde encoder en vervolgens getransformeerd (d.w.z. gecomprimeerd) naar een zeer compacte latente code. Deze latente code kan effectief worden gebruikt als een extreem gecomprimeerde representatie van de mesh of puntenwolk. Een mapping-netwerk transformeert de gecomprimeerde latente code naar de latente ruimte van een krachtig generatiemodel, dat vervolgens wordt geconditioneerd om het originele 3D-model te reconstrueren (d.w.z. decompressie). Squeeze3D wordt volledig getraind op gegenereerde synthetische data en vereist geen 3D-datasets. De Squeeze3D-architectuur kan flexibel worden gebruikt met bestaande vooraf getrainde 3D-encoders en bestaande generatieve modellen. Het kan flexibel verschillende formaten ondersteunen, waaronder meshes, puntenwolken en radiance fields. Onze experimenten tonen aan dat Squeeze3D compressieverhoudingen bereikt van tot 2187x voor textuurmeshes, 55x voor puntenwolken en 619x voor radiance fields, terwijl de visuele kwaliteit vergelijkbaar blijft met veel bestaande methoden. Squeeze3D veroorzaakt slechts een kleine compressie- en decompressielatentie, aangezien het geen object-specifieke netwerken traint om een object te comprimeren.

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.