Squeeze3D: 당신의 3D 생성 모델은 사실 극단적인 신경망 압축기입니다

초록

우리는 기존에 사전 학습된 3D 생성 모델로부터 학습된 암묵적 사전 지식을 활용하여 극도로 높은 압축률로 3D 데이터를 압축하는 새로운 프레임워크인 Squeeze3D를 제안한다. 우리의 접근 방식은 사전 학습된 인코더와 사전 학습된 생성 모델 간의 잠재 공간을 학습 가능한 매핑 네트워크를 통해 연결한다. 메시, 포인트 클라우드 또는 방사장으로 표현된 모든 3D 모델은 먼저 사전 학습된 인코더에 의해 인코딩된 후, 매우 간결한 잠재 코드로 변환(즉, 압축)된다. 이 잠재 코드는 메시나 포인트 클라우드의 극도로 압축된 표현으로 효과적으로 사용될 수 있다. 매핑 네트워크는 압축된 잠재 코드를 강력한 생성 모델의 잠재 공간으로 변환하며, 이는 원본 3D 모델을 재생성(즉, 압축 해제)하도록 조건화된다. Squeeze3D는 생성된 합성 데이터로만 학습되며, 어떠한 3D 데이터셋도 필요로 하지 않는다. Squeeze3D 아키텍처는 기존에 사전 학습된 3D 인코더와 생성 모델과 유연하게 사용될 수 있다. 또한 메시, 포인트 클라우드, 방사장 등 다양한 형식을 유연하게 지원한다. 우리의 실험 결과, Squeeze3D는 텍스처가 적용된 메시의 경우 최대 2187배, 포인트 클라우드의 경우 55배, 방사장의 경우 619배의 압축률을 달성하면서도 기존의 많은 방법들과 비슷한 수준의 시각적 품질을 유지한다. Squeeze3D는 객체별 네트워크를 학습하여 객체를 압축하는 과정을 포함하지 않기 때문에 압축 및 압축 해제 지연 시간이 매우 작다.

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.

Squeeze3D: 당신의 3D 생성 모델은 사실 극단적인 신경망 압축기입니다

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

초록

Support