DiffGI: 高忠実度薄殻3D生成のための微分可能幾何画像

要旨

既存の3D生成モデルは主に暗黙的ボリューム表現に依存しており、水密トポロジーを強制するため、衣料品のような薄板状や非多様体形状の表現が困難です。一方、ジオメトリ画像ベースのアプローチは表面中心の代替手段を提供しますが、既存手法は解像度依存の境界エンコーディングを引き起こす離散的な2値占有マップに依存しており、ダウンサンプリング時に階段状アーティファクトや情報損失が生じるだけでなく、表面再構成は学習パイプラインから切り離された微分不可能な後処理ステップに留まっています。これらの課題を解決するため、本論文では微分可能ジオメトリ画像（DiffGI）を提案します。これは表面表現と幾何最適化をシームレスに統合するエンドツーエンドの3D-to-2Dマッピングフレームワークです。DiffGIは2値マップに代わり、固定グリッド解像度内でサブピクセル精度の境界位置をエンコードする連続的な2次元トランケート符号付き距離関数（TSDF）を採用し、激しいダウンサンプリング下でも解像度依存の階段状アーティファクトを排除します。この連続場に基づき、解析的線形補間による微分可能なマーチングスクエアアルゴリズムを導入し、3D表面損失からの勾配を2D潜在空間に逆伝播可能にします。この微分可能パイプラインを活用し、幾何認識型法線レンダリング損失で拡張したDiffGI-VAEを学習させることで、複雑な3D表面を超コンパクトな32×32潜在空間に圧縮し、さらにその空間上でフローマッチング目的関数を用いたトランスフォーマーベースの潜在拡散モデルを実装し、条件付き3D生成を実現します。衣料品および物体データセットにおける広範な実験により、本手法は従来のジオメトリ画像ベース手法やボクセルベース手法と比較して、優れた再構成精度と境界精度を達成しつつ、計算リソースを大幅に削減できることを実証しています。

English

Existing 3D generative models predominantly rely on implicit volumetric representations, which enforce watertight topology and struggle to represent thin-shell and non-manifold geometries such as garments. Geometry image-based approaches offer a surface-centric alternative, but existing methods rely on discrete binary occupancy maps whose resolution-dependent boundary encoding causes staircase artifacts and information loss upon downsampling, while surface reconstruction remains a non-differentiable post-processing step disconnected from the learning pipeline. To address this, we propose Differentiable Geometry Image (DiffGI), an end-to-end 3D-to-2D mapping framework that seamlessly integrates surface representation and geometric optimization. DiffGI replaces binary maps with a continuous 2D Truncated Signed Distance Function (TSDF), which encodes boundary position at subpixel precision within a fixed grid resolution, eliminating resolution-dependent staircase artifacts even under aggressive downsampling. Building on this continuous field, we introduce a differentiable Marching Squares algorithm based on analytical linear interpolation, allowing gradients from 3D surface losses to propagate back to the 2D latent space. Leveraging this differentiable pipeline, we train a DiffGI-VAE augmented with a geometry-aware normal rendering loss to compress complex 3D surfaces into an ultra-compact 32X32 latent space, and instantiate a transformer-based latent diffusion model with a flow-matching objective on top of this space for conditional 3D generation. Extensive experiments on garment and object datasets demonstrate that our method achieves superior reconstruction fidelity and boundary precision compared to prior geometry-image and voxel-based approaches, while requiring significantly fewer computational resources.