Sfruttare il Modello di Diffusione Vecset per la Generazione Rapida di Forme

Unleashing Vecset Diffusion Model for Fast Shape Generation

March 20, 2025

Autori: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Haolin Liu, Fuyun Wang, Huiwen Shi, Xianghui Yang, Qinxiang Lin, Jinwei Huang, Yuhong Liu, Jie Jiang, Chunchao Guo, Xiangyu Yue

cs.AI

Abstract

La generazione di forme 3D ha conosciuto un notevole sviluppo grazie all'evoluzione della cosiddetta diffusione 3D "nativa", in particolare attraverso il Vecset Diffusion Model (VDM). Sebbene i recenti progressi abbiano mostrato risultati promettenti nella generazione di forme 3D ad alta risoluzione, il VDM incontra ancora difficoltà nella generazione ad alta velocità. Le sfide derivano non solo dalla difficoltà di accelerare il campionamento della diffusione, ma anche dalla decodifica VAE nel VDM, aree poco esplorate nei lavori precedenti. Per affrontare queste sfide, presentiamo FlashVDM, un framework sistematico per accelerare sia il VAE che il DiT nel VDM. Per il DiT, FlashVDM consente un campionamento flessibile della diffusione con appena 5 passaggi di inferenza e una qualità comparabile, reso possibile dalla stabilizzazione della distillazione di consistenza attraverso la nostra nuova Progressive Flow Distillation. Per il VAE, introduciamo un decoder vecset ultraveloce dotato di Adaptive KV Selection, Hierarchical Volume Decoding ed Efficient Network Design. Sfruttando la località del vecset e la sparsità della superficie della forma nel volume, il nostro decoder riduce drasticamente i FLOP, minimizzando l'overhead complessivo della decodifica. Applichiamo FlashVDM a Hunyuan3D-2 per ottenere Hunyuan3D-2 Turbo. Attraverso una valutazione sistematica, dimostriamo che il nostro modello supera significativamente i metodi esistenti di generazione 3D veloce, raggiungendo prestazioni comparabili allo stato dell'arte mentre riduce il tempo di inferenza di oltre 45x per la ricostruzione e 32x per la generazione. Codice e modelli sono disponibili su https://github.com/Tencent/FlashVDM.

English

3D shape generation has greatly flourished through the development of so-called "native" 3D diffusion, particularly through the Vecset Diffusion Model (VDM). While recent advancements have shown promising results in generating high-resolution 3D shapes, VDM still struggles with high-speed generation. Challenges exist because of difficulties not only in accelerating diffusion sampling but also VAE decoding in VDM, areas under-explored in previous works. To address these challenges, we present FlashVDM, a systematic framework for accelerating both VAE and DiT in VDM. For DiT, FlashVDM enables flexible diffusion sampling with as few as 5 inference steps and comparable quality, which is made possible by stabilizing consistency distillation with our newly introduced Progressive Flow Distillation. For VAE, we introduce a lightning vecset decoder equipped with Adaptive KV Selection, Hierarchical Volume Decoding, and Efficient Network Design. By exploiting the locality of the vecset and the sparsity of shape surface in the volume, our decoder drastically lowers FLOPs, minimizing the overall decoding overhead. We apply FlashVDM to Hunyuan3D-2 to obtain Hunyuan3D-2 Turbo. Through systematic evaluation, we show that our model significantly outperforms existing fast 3D generation methods, achieving comparable performance to the state-of-the-art while reducing inference time by over 45x for reconstruction and 32x for generation. Code and models are available at https://github.com/Tencent/FlashVDM.