SparseFlex: Modelado de Formas 3D de Alta Resolución y Topología Arbitraria

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

Autores: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

Resumen

La creación de mallas 3D de alta fidelidad con topología arbitraria, incluyendo superficies abiertas e interiores complejos, sigue siendo un desafío significativo. Los métodos existentes basados en campos implícitos a menudo requieren una conversión costosa y que degrada los detalles para lograr superficies cerradas, mientras que otros enfoques tienen dificultades con altas resoluciones. Este artículo presenta SparseFlex, una novedosa representación de isosuperficie con estructura dispersa que permite la reconstrucción diferenciable de mallas a resoluciones de hasta 1024^3 directamente a partir de pérdidas de renderizado. SparseFlex combina la precisión de Flexicubes con una estructura de vóxeles dispersa, enfocando el cálculo en regiones adyacentes a la superficie y manejando eficientemente superficies abiertas. De manera crucial, introducimos una estrategia de entrenamiento de vóxeles seccionales consciente del frustum que activa solo los vóxeles relevantes durante el renderizado, reduciendo drásticamente el consumo de memoria y permitiendo el entrenamiento en alta resolución. Esto también permite, por primera vez, la reconstrucción de interiores de mallas utilizando únicamente supervisión de renderizado. Sobre esta base, demostramos una canalización completa de modelado de formas entrenando un autoencoder variacional (VAE) y un transformador de flujo rectificado para la generación de formas 3D de alta calidad. Nuestros experimentos muestran una precisión de reconstrucción de vanguardia, con una reducción del ~82% en la Distancia de Chamfer y un aumento del ~88% en el F-score en comparación con métodos anteriores, y demuestran la generación de formas 3D detalladas y de alta resolución con topología arbitraria. Al permitir la reconstrucción y generación diferenciable de mallas en alta resolución con pérdidas de renderizado, SparseFlex avanza significativamente el estado del arte en la representación y modelado de formas 3D.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.