빠른 형태 생성을 위한 Vecset 확산 모델의 잠재력 발휘

Unleashing Vecset Diffusion Model for Fast Shape Generation

March 20, 2025

저자: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Haolin Liu, Fuyun Wang, Huiwen Shi, Xianghui Yang, Qinxiang Lin, Jinwei Huang, Yuhong Liu, Jie Jiang, Chunchao Guo, Xiangyu Yue

cs.AI

초록

3D 형태 생성은 소위 "네이티브" 3D 디퓨전, 특히 Vecset Diffusion Model(VDM)의 발전을 통해 크게 번성해 왔습니다. 최근의 발전은 고해상도 3D 형태 생성에서 유망한 결과를 보여주고 있지만, VDM은 여전히 고속 생성에 어려움을 겪고 있습니다. 이러한 어려움은 디퓨전 샘플링 가속화뿐만 아니라 VDM의 VAE 디코딩에서도 발생하며, 이는 이전 연구에서 충분히 탐구되지 않은 분야입니다. 이러한 문제를 해결하기 위해, 우리는 VDM에서 VAE와 DiT를 모두 가속화하는 체계적인 프레임워크인 FlashVDM을 제시합니다. DiT의 경우, FlashVDM은 우리가 새롭게 도입한 Progressive Flow Distillation을 통해 일관성 증류를 안정화함으로써 단 5번의 추론 단계로도 유사한 품질의 유연한 디퓨전 샘플링을 가능하게 합니다. VAE의 경우, Adaptive KV Selection, Hierarchical Volume Decoding, Efficient Network Design을 갖춘 경량 Vecset 디코더를 소개합니다. Vecset의 지역성과 볼륨 내 형태 표면의 희소성을 활용함으로써, 우리의 디코더는 FLOPs를 크게 줄여 전체 디코딩 오버헤드를 최소화합니다. 우리는 FlashVDM을 Hunyuan3D-2에 적용하여 Hunyuan3D-2 Turbo를 얻었습니다. 체계적인 평가를 통해, 우리의 모델이 기존의 빠른 3D 생성 방법을 크게 능가하며, 최첨단 기술과 유사한 성능을 유지하면서 재구성 시간을 45배 이상, 생성 시간을 32배 이상 단축함을 보여줍니다. 코드와 모델은 https://github.com/Tencent/FlashVDM에서 확인할 수 있습니다.

English

3D shape generation has greatly flourished through the development of so-called "native" 3D diffusion, particularly through the Vecset Diffusion Model (VDM). While recent advancements have shown promising results in generating high-resolution 3D shapes, VDM still struggles with high-speed generation. Challenges exist because of difficulties not only in accelerating diffusion sampling but also VAE decoding in VDM, areas under-explored in previous works. To address these challenges, we present FlashVDM, a systematic framework for accelerating both VAE and DiT in VDM. For DiT, FlashVDM enables flexible diffusion sampling with as few as 5 inference steps and comparable quality, which is made possible by stabilizing consistency distillation with our newly introduced Progressive Flow Distillation. For VAE, we introduce a lightning vecset decoder equipped with Adaptive KV Selection, Hierarchical Volume Decoding, and Efficient Network Design. By exploiting the locality of the vecset and the sparsity of shape surface in the volume, our decoder drastically lowers FLOPs, minimizing the overall decoding overhead. We apply FlashVDM to Hunyuan3D-2 to obtain Hunyuan3D-2 Turbo. Through systematic evaluation, we show that our model significantly outperforms existing fast 3D generation methods, achieving comparable performance to the state-of-the-art while reducing inference time by over 45x for reconstruction and 32x for generation. Code and models are available at https://github.com/Tencent/FlashVDM.