Squeeze3D: Ваша модель генерации 3D — это скрытый экстремальный нейронный компрессор

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

June 9, 2025

Авторы: Rishit Dagli, Yushi Guan, Sankeerth Durvasula, Mohammadreza Mofayezi, Nandita Vijaykumar

cs.AI

Аннотация

Мы предлагаем Squeeze3D — новый фреймворк, который использует неявные априорные знания, извлеченные из существующих предобученных 3D-генеративных моделей, для сжатия 3D-данных с чрезвычайно высокими коэффициентами сжатия. Наш подход связывает латентные пространства предобученного кодировщика и предобученной генеративной модели через обучаемые отображающие сети. Любая 3D-модель, представленная в виде сетки, облака точек или поля излучения, сначала кодируется предобученным кодировщиком, а затем преобразуется (т.е. сжимается) в компактный латентный код. Этот латентный код может эффективно использоваться как крайне сжатое представление сетки или облака точек. Отображающая сеть преобразует сжатый латентный код в латентное пространство мощной генеративной модели, которая затем воссоздает исходную 3D-модель (т.е. выполняет декомпрессию). Squeeze3D обучается исключительно на синтетических данных и не требует наличия каких-либо 3D-наборов данных. Архитектура Squeeze3D может гибко использоваться с существующими предобученными 3D-кодировщиками и генеративными моделями. Она поддерживает различные форматы, включая сетки, облака точек и поля излучения. Наши эксперименты показывают, что Squeeze3D достигает коэффициентов сжатия до 2187x для текстурных сеток, 55x для облаков точек и 619x для полей излучения, сохраняя при этом визуальное качество, сопоставимое со многими существующими методами. Squeeze3D имеет небольшую задержку при сжатии и декомпрессии, так как не требует обучения специфичных для объекта сетей для сжатия объекта.

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.