SparseFlex : Modélisation 3D haute résolution et à topologie arbitraire

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

Auteurs: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

Résumé

La création de maillages 3D haute fidélité avec une topologie arbitraire, incluant des surfaces ouvertes et des intérieurs complexes, reste un défi majeur. Les méthodes existantes basées sur des champs implicites nécessitent souvent une conversion coûteuse et dégradant les détails pour obtenir des surfaces fermées, tandis que d'autres approches peinent à atteindre des résolutions élevées. Cet article présente SparseFlex, une nouvelle représentation d'isosurface à structure sparse qui permet la reconstruction différentiable de maillages à des résolutions allant jusqu'à 1024^3 directement à partir de pertes de rendu. SparseFlex combine la précision des Flexicubes avec une structure voxel sparse, concentrant les calculs sur les régions adjacentes à la surface et gérant efficacement les surfaces ouvertes. De manière cruciale, nous introduisons une stratégie d'entraînement voxel sectionnel consciente du frustum qui active uniquement les voxels pertinents pendant le rendu, réduisant considérablement la consommation de mémoire et permettant un entraînement à haute résolution. Cela permet également, pour la première fois, la reconstruction des intérieurs de maillages en utilisant uniquement la supervision par rendu. Sur cette base, nous démontrons un pipeline complet de modélisation de formes en entraînant un autoencodeur variationnel (VAE) et un transformateur à flux rectifié pour la génération de formes 3D de haute qualité. Nos expériences montrent une précision de reconstruction à l'état de l'art, avec une réduction d'environ 82% de la distance de Chamfer et une augmentation d'environ 88% du F-score par rapport aux méthodes précédentes, et démontrent la génération de formes 3D détaillées à haute résolution avec une topologie arbitraire. En permettant la reconstruction et la génération différentiables de maillages à haute résolution avec des pertes de rendu, SparseFlex fait progresser significativement l'état de l'art dans la représentation et la modélisation de formes 3D.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.