SparseFlex: Hochauflösende und beliebig-topologische 3D-Formmodellierung

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

Autoren: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

Zusammenfassung

Die Erstellung hochauflösender 3D-Meshes mit beliebiger Topologie, einschließlich offener Oberflächen und komplexer Innenräume, bleibt eine große Herausforderung. Bestehende Methoden, die auf impliziten Feldern basieren, erfordern oft kostspielige und detailmindernde wasserdichte Konvertierungen, während andere Ansätze mit hohen Auflösungen zu kämpfen haben. Dieses Papier stellt SparseFlex vor, eine neuartige, spärlich strukturierte Isoflächen-Darstellung, die eine differenzierbare Mesh-Rekonstruktion mit Auflösungen von bis zu 1024^3 direkt aus Rendering-Verlusten ermöglicht. SparseFlex kombiniert die Genauigkeit von Flexicubes mit einer spärlichen Voxel-Struktur, konzentriert die Berechnung auf oberflächennahe Regionen und behandelt offene Oberflächen effizient. Entscheidend ist, dass wir eine frustum-bewusste, sektionale Voxel-Trainingsstrategie einführen, die nur relevante Voxel während des Renderings aktiviert, was den Speicherverbrauch drastisch reduziert und ein Training mit hoher Auflösung ermöglicht. Dies erlaubt erstmals die Rekonstruktion von Mesh-Innenräumen allein durch Rendering-Aufsicht. Darauf aufbauend demonstrieren wir einen vollständigen Shape-Modellierungspipeline, indem wir ein Variational Autoencoder (VAE) und einen Rectified Flow Transformer für die Erzeugung hochwertiger 3D-Formen trainieren. Unsere Experimente zeigen eine state-of-the-art Rekonstruktionsgenauigkeit, mit einer ~82%igen Reduktion der Chamfer-Distanz und einer ~88%igen Steigerung des F-Scores im Vergleich zu früheren Methoden, und demonstrieren die Erzeugung hochauflösender, detaillierter 3D-Formen mit beliebiger Topologie. Durch die Ermöglichung einer hochauflösenden, differenzierbaren Mesh-Rekonstruktion und -Erzeugung mit Rendering-Verlusten setzt SparseFlex einen bedeutenden Fortschritt im State-of-the-Art der 3D-Formdarstellung und -modellierung.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.