Liberando o Modelo de Difusão Vecset para Geração Rápida de Formas

Unleashing Vecset Diffusion Model for Fast Shape Generation

March 20, 2025

Autores: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Haolin Liu, Fuyun Wang, Huiwen Shi, Xianghui Yang, Qinxiang Lin, Jinwei Huang, Yuhong Liu, Jie Jiang, Chunchao Guo, Xiangyu Yue

cs.AI

Resumo

A geração de formas 3D tem prosperado significativamente com o desenvolvimento da chamada difusão 3D "nativa", particularmente através do Modelo de Difusão Vecset (VDM). Embora avanços recentes tenham mostrado resultados promissores na geração de formas 3D de alta resolução, o VDM ainda enfrenta dificuldades com a geração em alta velocidade. Os desafios existem devido a dificuldades não apenas na aceleração da amostragem de difusão, mas também na decodificação VAE no VDM, áreas pouco exploradas em trabalhos anteriores. Para enfrentar esses desafios, apresentamos o FlashVDM, um framework sistemático para acelerar tanto o VAE quanto o DiT no VDM. Para o DiT, o FlashVDM permite uma amostragem de difusão flexível com apenas 5 passos de inferência e qualidade comparável, possibilitada pela estabilização da destilação de consistência com nossa nova técnica de Destilação de Fluxo Progressivo. Para o VAE, introduzimos um decodificador vecset ultrarrápido equipado com Seleção Adaptativa de KV, Decodificação Hierárquica de Volume e Design Eficiente de Rede. Ao explorar a localidade do vecset e a esparsidade da superfície da forma no volume, nosso decodificador reduz drasticamente os FLOPs, minimizando a sobrecarga geral de decodificação. Aplicamos o FlashVDM ao Hunyuan3D-2 para obter o Hunyuan3D-2 Turbo. Por meio de avaliação sistemática, mostramos que nosso modelo supera significativamente os métodos existentes de geração rápida de 3D, alcançando desempenho comparável ao estado da arte enquanto reduz o tempo de inferência em mais de 45x para reconstrução e 32x para geração. Código e modelos estão disponíveis em https://github.com/Tencent/FlashVDM.

English

3D shape generation has greatly flourished through the development of so-called "native" 3D diffusion, particularly through the Vecset Diffusion Model (VDM). While recent advancements have shown promising results in generating high-resolution 3D shapes, VDM still struggles with high-speed generation. Challenges exist because of difficulties not only in accelerating diffusion sampling but also VAE decoding in VDM, areas under-explored in previous works. To address these challenges, we present FlashVDM, a systematic framework for accelerating both VAE and DiT in VDM. For DiT, FlashVDM enables flexible diffusion sampling with as few as 5 inference steps and comparable quality, which is made possible by stabilizing consistency distillation with our newly introduced Progressive Flow Distillation. For VAE, we introduce a lightning vecset decoder equipped with Adaptive KV Selection, Hierarchical Volume Decoding, and Efficient Network Design. By exploiting the locality of the vecset and the sparsity of shape surface in the volume, our decoder drastically lowers FLOPs, minimizing the overall decoding overhead. We apply FlashVDM to Hunyuan3D-2 to obtain Hunyuan3D-2 Turbo. Through systematic evaluation, we show that our model significantly outperforms existing fast 3D generation methods, achieving comparable performance to the state-of-the-art while reducing inference time by over 45x for reconstruction and 32x for generation. Code and models are available at https://github.com/Tencent/FlashVDM.