Squeeze3D: あなたの3D生成モデルは極限ニューラル圧縮器としての秘密を持つ

要旨

我々は、既存の事前学習済み3D生成モデルによって学習された暗黙的な事前知識を活用し、極めて高い圧縮率で3Dデータを圧縮する新しいフレームワークであるSqueeze3Dを提案する。本手法は、事前学習済みエンコーダと事前学習済み生成モデルの潜在空間を、学習可能なマッピングネットワークを介して橋渡しする。メッシュ、ポイントクラウド、またはラディアンスフィールドとして表現された任意の3Dモデルは、まず事前学習済みエンコーダによって符号化され、その後、極めてコンパクトな潜在コードに変換（すなわち圧縮）される。この潜在コードは、メッシュやポイントクラウドの極めて圧縮された表現として効果的に使用できる。マッピングネットワークは、圧縮された潜在コードを強力な生成モデルの潜在空間に変換し、その後、元の3Dモデルを再現するために条件付けられる（すなわち解凍）。Squeeze3Dは、生成された合成データのみで完全に学習され、3Dデータセットを必要としない。Squeeze3Dアーキテクチャは、既存の事前学習済み3Dエンコーダと既存の生成モデルと柔軟に組み合わせて使用できる。メッシュ、ポイントクラウド、ラディアンスフィールドなど、異なるフォーマットを柔軟にサポートする。我々の実験では、Squeeze3Dが、テクスチャ付きメッシュで最大2187倍、ポイントクラウドで55倍、ラディアンスフィールドで619倍の圧縮率を達成し、視覚品質を多くの既存手法と同等に維持することを示した。Squeeze3Dは、オブジェクト固有のネットワークを学習してオブジェクトを圧縮する必要がないため、圧縮および解凍のレイテンシが小さい。

English

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.

Squeeze3D: あなたの3D生成モデルは極限ニューラル圧縮器としての秘密を持つ

Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

要旨

Support