SparseFlex: Моделирование 3D-форм с высоким разрешением и произвольной топологией

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

Авторы: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

Аннотация

Создание высококачественных 3D-сеток с произвольной топологией, включая открытые поверхности и сложные внутренние структуры, остается серьезной задачей. Существующие методы, основанные на неявных полях, часто требуют дорогостоящего и ухудшающего детализацию преобразования в водонепроницаемые модели, в то время как другие подходы сталкиваются с трудностями при работе с высокими разрешениями. В данной статье представлен SparseFlex — новый изоповерхностный метод, основанный на разреженной структуре, который позволяет выполнять дифференцируемую реконструкцию сеток с разрешением до 1024^3 непосредственно на основе потерь при рендеринге. SparseFlex сочетает точность Flexicubes с разреженной воксельной структурой, концентрируя вычисления на областях, прилегающих к поверхности, и эффективно обрабатывая открытые поверхности. Ключевым нововведением является стратегия обучения с учетом фрустума, которая активирует только релевантные воксели во время рендеринга, значительно снижая потребление памяти и позволяя обучение на высоких разрешениях. Это также впервые делает возможной реконструкцию внутренних структур сетки только на основе потерь при рендеринге. На основе этого мы демонстрируем полный конвейер моделирования форм, обучая вариационный автоэнкодер (VAE) и трансформер с исправленным потоком для генерации высококачественных 3D-форм. Наши эксперименты показывают наилучшую точность реконструкции с уменьшением расстояния Чамфера на ~82% и увеличением F-меры на ~88% по сравнению с предыдущими методами, а также демонстрируют генерацию высокодетализированных 3D-форм с произвольной топологией. Благодаря возможности дифференцируемой реконструкции и генерации сеток с высоким разрешением на основе потерь при рендеринге, SparseFlex значительно продвигает современные методы представления и моделирования 3D-форм.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.