SparseFlex: Hoogresolutie en willekeurige topologie 3D-vormmodellering

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

Auteurs: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

Samenvatting

Het creëren van hoogwaardige 3D-meshes met willekeurige topologie, inclusief open oppervlakken en complexe interieurs, blijft een grote uitdaging. Bestaande methoden op basis van impliciete velden vereisen vaak kostbare en detailverlagende waterdichte conversie, terwijl andere benaderingen moeite hebben met hoge resoluties. Dit artikel introduceert SparseFlex, een nieuwe isosurface-representatie met een sparse-structuur die differentieerbare mesh-reconstructie mogelijk maakt bij resoluties tot 1024^3, direct vanuit renderingverliezen. SparseFlex combineert de nauwkeurigheid van Flexicubes met een sparse voxelstructuur, waarbij de berekening wordt gericht op oppervlak-aanliggende regio's en open oppervlakken efficiënt worden verwerkt. Cruciaal is dat we een frustum-aware sectionele voxel-trainingsstrategie introduceren die alleen relevante voxels activeert tijdens het renderen, waardoor het geheugengebruik aanzienlijk wordt verminderd en training op hoge resolutie mogelijk wordt gemaakt. Hierdoor wordt voor het eerst ook de reconstructie van mesh-interieurs mogelijk gemaakt met alleen renderingsupervisie. Hierop voortbouwend demonstreren we een complete vormmodelleringspipeline door een variational autoencoder (VAE) en een rectified flow transformer te trainen voor hoogwaardige 3D-vormgeneratie. Onze experimenten tonen state-of-the-art reconstructienauwkeurigheid, met een ~82% reductie in Chamfer Distance en een ~88% toename in F-score vergeleken met eerdere methoden, en demonstreren de generatie van hoogwaardige, gedetailleerde 3D-vormen met willekeurige topologie. Door differentieerbare mesh-reconstructie en -generatie op hoge resolutie mogelijk te maken met renderingverliezen, zet SparseFlex de standaard voor 3D-vormrepresentatie en -modellering aanzienlijk verder.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.