SparseFlex: 高解像度かつ任意トポロジーの3D形状モデリング

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

著者: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

要旨

任意のトポロジーを持つ高精細な3Dメッシュ（開いた表面や複雑な内部構造を含む）の作成は、依然として大きな課題です。既存の陰的フィールド手法では、コストが高く詳細が劣化する水密変換が必要であり、他のアプローチでは高解像度の処理が困難です。本論文では、SparseFlexという新しい疎構造の等値面表現を提案します。これは、レンダリング損失から直接1024^3の解像度で微分可能なメッシュ再構成を可能にします。SparseFlexは、Flexicubesの精度と疎ボクセル構造を組み合わせ、表面に隣接する領域に計算を集中させ、開いた表面を効率的に処理します。特に重要なのは、フラスタムを考慮したセクショナルボクセルトレーニング戦略を導入し、レンダリング中に関連するボクセルのみを活性化することで、メモリ消費を大幅に削減し、高解像度のトレーニングを可能にした点です。これにより、レンダリングの監視のみを使用してメッシュの内部構造を再構成することが初めて可能になりました。これを基盤として、変分オートエンコーダ（VAE）と整流フロートランスフォーマーをトレーニングし、高品質な3D形状生成のための完全な形状モデリングパイプラインを実証します。実験結果は、従来の手法と比較してChamfer Distanceが約82％減少し、Fスコアが約88％向上するなど、最先端の再構成精度を示し、任意のトポロジーを持つ高解像度で詳細な3D形状の生成を実証しています。レンダリング損失を用いた高解像度の微分可能なメッシュ再構成と生成を可能にすることで、SparseFlexは3D形状表現とモデリングの最先端を大きく前進させます。

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.