SparseFlex: 고해상도 및 임의 토폴로지 3D 형상 모델링

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

저자: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

초록

임의의 토폴로지를 가진 고해상도 3D 메시 생성, 특히 열린 표면과 복잡한 내부 구조를 포함하는 경우는 여전히 큰 과제로 남아 있습니다. 기존의 암시적 필드 방법은 비용이 많이 들고 디테일이 저하되는 수밀 변환을 필요로 하는 반면, 다른 접근법들은 고해상도에서 어려움을 겪습니다. 본 논문에서는 렌더링 손실로부터 직접 최대 1024^3 해상도까지의 미분 가능한 메시 재구성을 가능하게 하는 새로운 희소 구조 아이소서피스 표현인 SparseFlex을 소개합니다. SparseFlex은 Flexicubes의 정확도와 희소 복셀 구조를 결합하여, 표면 인접 영역에 계산을 집중시키고 열린 표면을 효율적으로 처리합니다. 특히, 렌더링 중에 관련된 복셀만 활성화하는 프러스텀 인식 섹셔널 복셀 훈련 전략을 도입하여 메모리 소비를 극적으로 줄이고 고해상도 훈련을 가능하게 합니다. 이를 통해 렌더링 감독만을 사용하여 메시 내부 구조를 재구성하는 것이 처음으로 가능해졌습니다. 이를 기반으로, 고품질 3D 형태 생성을 위해 변분 오토인코더(VAE)와 정류 흐름 트랜스포머를 훈련시킨 완전한 형태 모델링 파이프라인을 시연합니다. 실험 결과, 이전 방법 대비 Chamfer Distance가 약 82% 감소하고 F-score가 약 88% 증가한 최첨단 재구성 정확도를 보여주며, 임의의 토폴로지를 가진 고해상도, 세부적인 3D 형태 생성을 입증합니다. SparseFlex은 렌더링 손실을 통한 고해상도, 미분 가능한 메시 재구성 및 생성을 가능하게 함으로써 3D 형태 표현 및 모델링 분야의 최신 기술을 크게 발전시켰습니다.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.