Libérer le potentiel du modèle de diffusion Vecset pour une génération rapide de formes

Unleashing Vecset Diffusion Model for Fast Shape Generation

March 20, 2025

Auteurs: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Haolin Liu, Fuyun Wang, Huiwen Shi, Xianghui Yang, Qinxiang Lin, Jinwei Huang, Yuhong Liu, Jie Jiang, Chunchao Guo, Xiangyu Yue

cs.AI

Résumé

La génération de formes 3D a connu un essor considérable grâce au développement de la diffusion dite "native" en 3D, en particulier via le modèle de diffusion Vecset (VDM). Bien que les avancées récentes aient montré des résultats prometteurs dans la génération de formes 3D haute résolution, le VDM rencontre encore des difficultés en matière de génération à haute vitesse. Ces défis découlent non seulement des problèmes d'accélération de l'échantillonnage par diffusion, mais aussi du décodage VAE dans le VDM, des domaines peu explorés dans les travaux précédents. Pour relever ces défis, nous présentons FlashVDM, un cadre systématique pour accélérer à la fois le VAE et le DiT dans le VDM. Pour le DiT, FlashVDM permet un échantillonnage flexible de la diffusion avec aussi peu que 5 étapes d'inférence tout en maintenant une qualité comparable, rendue possible par la stabilisation de la distillation de cohérence grâce à notre nouvelle méthode de Distillation Progressive de Flux. Pour le VAE, nous introduisons un décodeur vecset ultra-rapide équipé de la Sélection Adaptative KV, du Décodage Hiérarchique de Volume et d'une Conception de Réseau Efficace. En exploitant la localité du vecset et la sparsité de la surface de la forme dans le volume, notre décodeur réduit considérablement les FLOPs, minimisant ainsi la surcharge globale du décodage. Nous appliquons FlashVDM à Hunyuan3D-2 pour obtenir Hunyuan3D-2 Turbo. Grâce à une évaluation systématique, nous montrons que notre modèle surpasse significativement les méthodes existantes de génération rapide en 3D, atteignant des performances comparables à l'état de l'art tout en réduisant le temps d'inférence de plus de 45x pour la reconstruction et de 32x pour la génération. Le code et les modèles sont disponibles à l'adresse https://github.com/Tencent/FlashVDM.

English

3D shape generation has greatly flourished through the development of so-called "native" 3D diffusion, particularly through the Vecset Diffusion Model (VDM). While recent advancements have shown promising results in generating high-resolution 3D shapes, VDM still struggles with high-speed generation. Challenges exist because of difficulties not only in accelerating diffusion sampling but also VAE decoding in VDM, areas under-explored in previous works. To address these challenges, we present FlashVDM, a systematic framework for accelerating both VAE and DiT in VDM. For DiT, FlashVDM enables flexible diffusion sampling with as few as 5 inference steps and comparable quality, which is made possible by stabilizing consistency distillation with our newly introduced Progressive Flow Distillation. For VAE, we introduce a lightning vecset decoder equipped with Adaptive KV Selection, Hierarchical Volume Decoding, and Efficient Network Design. By exploiting the locality of the vecset and the sparsity of shape surface in the volume, our decoder drastically lowers FLOPs, minimizing the overall decoding overhead. We apply FlashVDM to Hunyuan3D-2 to obtain Hunyuan3D-2 Turbo. Through systematic evaluation, we show that our model significantly outperforms existing fast 3D generation methods, achieving comparable performance to the state-of-the-art while reducing inference time by over 45x for reconstruction and 32x for generation. Code and models are available at https://github.com/Tencent/FlashVDM.