Squeeze3D: Seu Modelo de Geração 3D é Secretamente um Compressor Neural Extremo

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

June 9, 2025

Autores: Rishit Dagli, Yushi Guan, Sankeerth Durvasula, Mohammadreza Mofayezi, Nandita Vijaykumar

cs.AI

Resumo

Propomos o Squeeze3D, uma nova estrutura que aproveita o conhecimento prévio implícito aprendido por modelos generativos 3D pré-treinados existentes para comprimir dados 3D com taxas de compressão extremamente altas. Nossa abordagem conecta os espaços latentes entre um codificador pré-treinado e um modelo de geração pré-treinado por meio de redes de mapeamento treináveis. Qualquer modelo 3D representado como uma malha, nuvem de pontos ou campo de radiação é primeiro codificado pelo codificador pré-treinado e então transformado (ou seja, comprimido) em um código latente altamente compacto. Esse código latente pode ser efetivamente usado como uma representação extremamente comprimida da malha ou nuvem de pontos. Uma rede de mapeamento transforma o código latente comprimido no espaço latente de um poderoso modelo generativo, que é então condicionado para recriar o modelo 3D original (ou seja, descompressão). O Squeeze3D é treinado inteiramente em dados sintéticos gerados e não requer nenhum conjunto de dados 3D. A arquitetura do Squeeze3D pode ser usada de forma flexível com codificadores 3D pré-treinados existentes e modelos generativos existentes. Ela pode suportar de forma flexível diferentes formatos, incluindo malhas, nuvens de pontos e campos de radiação. Nossos experimentos demonstram que o Squeeze3D alcança taxas de compressão de até 2187x para malhas texturizadas, 55x para nuvens de pontos e 619x para campos de radiação, mantendo uma qualidade visual comparável a muitos métodos existentes. O Squeeze3D incorre apenas em uma pequena latência de compressão e descompressão, uma vez que não envolve o treinamento de redes específicas para comprimir um objeto.

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.