Het Vrijgeven van het Vecset Diffusiemodel voor Snelle Vormgeneratie

Unleashing Vecset Diffusion Model for Fast Shape Generation

March 20, 2025

Auteurs: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Haolin Liu, Fuyun Wang, Huiwen Shi, Xianghui Yang, Qinxiang Lin, Jinwei Huang, Yuhong Liu, Jie Jiang, Chunchao Guo, Xiangyu Yue

cs.AI

Samenvatting

3D-vormgeneratie heeft een grote bloei doorgemaakt dankzij de ontwikkeling van zogenaamde "native" 3D-diffusie, met name door het Vecset Diffusion Model (VDM). Hoewel recente vooruitgang veelbelovende resultaten heeft laten zien bij het genereren van hoogwaardige 3D-vormen, heeft VDM nog steeds moeite met snelle generatie. De uitdagingen bestaan niet alleen door moeilijkheden bij het versnellen van diffusiebemonstering, maar ook bij VAE-decodering in VDM, gebieden die in eerdere werken onderbelicht zijn gebleven. Om deze uitdagingen aan te pakken, presenteren we FlashVDM, een systematisch raamwerk voor het versnellen van zowel VAE als DiT in VDM. Voor DiT maakt FlashVDM flexibele diffusiebemonstering mogelijk met slechts 5 inferentiestappen en vergelijkbare kwaliteit, wat mogelijk wordt gemaakt door het stabiliseren van consistentiedistillatie met onze nieuw geïntroduceerde Progressive Flow Distillation. Voor VAE introduceren we een bliksemsnelle vecset-decoder uitgerust met Adaptive KV Selection, Hierarchical Volume Decoding en Efficient Network Design. Door gebruik te maken van de localiteit van de vecset en de sparsiteit van de vormoppervlakte in het volume, verlaagt onze decoder drastisch het aantal FLOPs, waardoor de totale decodeeroverhead wordt geminimaliseerd. We passen FlashVDM toe op Hunyuan3D-2 om Hunyuan3D-2 Turbo te verkrijgen. Door systematische evaluatie laten we zien dat ons model aanzienlijk beter presteert dan bestaande snelle 3D-generatiemethoden, waarbij het vergelijkbare prestaties bereikt als de state-of-the-art terwijl de inferentietijd met meer dan 45x voor reconstructie en 32x voor generatie wordt verminderd. Code en modellen zijn beschikbaar op https://github.com/Tencent/FlashVDM.

English

3D shape generation has greatly flourished through the development of so-called "native" 3D diffusion, particularly through the Vecset Diffusion Model (VDM). While recent advancements have shown promising results in generating high-resolution 3D shapes, VDM still struggles with high-speed generation. Challenges exist because of difficulties not only in accelerating diffusion sampling but also VAE decoding in VDM, areas under-explored in previous works. To address these challenges, we present FlashVDM, a systematic framework for accelerating both VAE and DiT in VDM. For DiT, FlashVDM enables flexible diffusion sampling with as few as 5 inference steps and comparable quality, which is made possible by stabilizing consistency distillation with our newly introduced Progressive Flow Distillation. For VAE, we introduce a lightning vecset decoder equipped with Adaptive KV Selection, Hierarchical Volume Decoding, and Efficient Network Design. By exploiting the locality of the vecset and the sparsity of shape surface in the volume, our decoder drastically lowers FLOPs, minimizing the overall decoding overhead. We apply FlashVDM to Hunyuan3D-2 to obtain Hunyuan3D-2 Turbo. Through systematic evaluation, we show that our model significantly outperforms existing fast 3D generation methods, achieving comparable performance to the state-of-the-art while reducing inference time by over 45x for reconstruction and 32x for generation. Code and models are available at https://github.com/Tencent/FlashVDM.