Squeeze3D: Ihr 3D-Generierungsmodell ist heimlich ein extrem effizienter neuronaler Kompressor

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

June 9, 2025

Autoren: Rishit Dagli, Yushi Guan, Sankeerth Durvasula, Mohammadreza Mofayezi, Nandita Vijaykumar

cs.AI

Zusammenfassung

Wir stellen Squeeze3D vor, ein neuartiges Framework, das implizites Vorwissen nutzt, das von bestehenden vortrainierten 3D-Generierungsmodellen gelernt wurde, um 3D-Daten mit extrem hohen Kompressionsraten zu komprimieren. Unser Ansatz verbindet die latenten Räume zwischen einem vortrainierten Encoder und einem vortrainierten Generierungsmodell durch trainierbare Mapping-Netzwerke. Jedes 3D-Modell, das als Mesh, Punktwolke oder Radiance Field dargestellt wird, wird zunächst vom vortrainierten Encoder kodiert und dann in einen hochkompakten latenten Code transformiert (d.h. komprimiert). Dieser latente Code kann effektiv als extrem komprimierte Darstellung des Meshes oder der Punktwolke verwendet werden. Ein Mapping-Netzwerk transformiert den komprimierten latenten Code in den latenten Raum eines leistungsstarken Generierungsmodells, das dann konditioniert wird, um das ursprüngliche 3D-Modell neu zu erstellen (d.h. Dekompression). Squeeze3D wird vollständig auf synthetisch generierten Daten trainiert und benötigt keine 3D-Datensätze. Die Squeeze3D-Architektur kann flexibel mit bestehenden vortrainierten 3D-Encodern und bestehenden Generierungsmodellen verwendet werden. Sie kann flexibel verschiedene Formate unterstützen, darunter Meshes, Punktwolken und Radiance Fields. Unsere Experimente zeigen, dass Squeeze3D Kompressionsraten von bis zu 2187x für texturierte Meshes, 55x für Punktwolken und 619x für Radiance Fields erreicht, während die visuelle Qualität vergleichbar mit vielen bestehenden Methoden bleibt. Squeeze3D verursacht nur eine geringe Kompressions- und Dekompressionslatenz, da es keine objektspezifischen Netzwerke zur Kompression eines Objekts involviert.

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.