SparseFlex: Modelagem 3D de Formas de Alta Resolução e Topologia Arbitrária

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

Autores: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

Resumo

A criação de malhas 3D de alta fidelidade com topologia arbitrária, incluindo superfícies abertas e interiores complexos, continua sendo um desafio significativo. Os métodos existentes de campos implícitos frequentemente exigem uma conversão custosa e que degrada detalhes para tornar as superfícies estanques, enquanto outras abordagens enfrentam dificuldades com altas resoluções. Este artigo introduz o SparseFlex, uma nova representação de isosuperfície com estrutura esparsa que permite a reconstrução diferenciável de malhas em resoluções de até 1024^3 diretamente a partir de perdas de renderização. O SparseFlex combina a precisão dos Flexicubes com uma estrutura de voxels esparsa, concentrando a computação em regiões adjacentes à superfície e lidando eficientemente com superfícies abertas. Crucialmente, introduzimos uma estratégia de treinamento de voxels seccionais consciente do frustum que ativa apenas os voxels relevantes durante a renderização, reduzindo drasticamente o consumo de memória e permitindo o treinamento em alta resolução. Isso também permite, pela primeira vez, a reconstrução de interiores de malhas usando apenas supervisão de renderização. Com base nisso, demonstramos um pipeline completo de modelagem de formas treinando um autoencoder variacional (VAE) e um transformador de fluxo retificado para a geração de formas 3D de alta qualidade. Nossos experimentos mostram uma precisão de reconstrução de última geração, com uma redução de ~82% na Distância de Chamfer e um aumento de ~88% no F-score em comparação com métodos anteriores, e demonstram a geração de formas 3D detalhadas e de alta resolução com topologia arbitrária. Ao permitir a reconstrução e geração diferenciável de malhas em alta resolução com perdas de renderização, o SparseFlex avança significativamente o estado da arte na representação e modelagem de formas 3D.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.