Squeeze3D: Tu Modelo de Generación 3D es en Realidad un Compresor Neural Extremo

Resumen

Proponemos Squeeze3D, un marco novedoso que aprovecha el conocimiento previo implícito aprendido por modelos generativos 3D preentrenados existentes para comprimir datos 3D con ratios de compresión extremadamente altos. Nuestro enfoque conecta los espacios latentes entre un codificador preentrenado y un modelo generativo preentrenado a través de redes de mapeo entrenables. Cualquier modelo 3D representado como una malla, una nube de puntos o un campo de radiancia es primero codificado por el codificador preentrenado y luego transformado (es decir, comprimido) en un código latente altamente compacto. Este código latente puede utilizarse efectivamente como una representación extremadamente comprimida de la malla o la nube de puntos. Una red de mapeo transforma el código latente comprimido en el espacio latente de un potente modelo generativo, el cual luego es condicionado para recrear el modelo 3D original (es decir, descompresión). Squeeze3D se entrena completamente con datos sintéticos generados y no requiere ningún conjunto de datos 3D. La arquitectura de Squeeze3D puede utilizarse de manera flexible con codificadores 3D preentrenados existentes y modelos generativos existentes. Puede soportar de manera flexible diferentes formatos, incluyendo mallas, nubes de puntos y campos de radiancia. Nuestros experimentos demuestran que Squeeze3D alcanza ratios de compresión de hasta 2187x para mallas texturizadas, 55x para nubes de puntos y 619x para campos de radiancia, manteniendo una calidad visual comparable a muchos métodos existentes. Squeeze3D solo incurre en una pequeña latencia de compresión y descompresión, ya que no implica el entrenamiento de redes específicas para comprimir un objeto.

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.

Squeeze3D: Tu Modelo de Generación 3D es en Realidad un Compresor Neural Extremo

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

Resumen

Support