Liberando el Modelo de Difusión Vecset para la Generación Rápida de Formas

Unleashing Vecset Diffusion Model for Fast Shape Generation

March 20, 2025

Autores: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Haolin Liu, Fuyun Wang, Huiwen Shi, Xianghui Yang, Qinxiang Lin, Jinwei Huang, Yuhong Liu, Jie Jiang, Chunchao Guo, Xiangyu Yue

cs.AI

Resumen

La generación de formas 3D ha experimentado un gran avance gracias al desarrollo de la llamada difusión 3D "nativa", particularmente a través del Modelo de Difusión Vecset (VDM). Si bien los avances recientes han mostrado resultados prometedores en la generación de formas 3D de alta resolución, el VDM aún enfrenta dificultades en la generación de alta velocidad. Estos desafíos surgen no solo por las dificultades en acelerar el muestreo de difusión, sino también por la decodificación del VAE en el VDM, áreas poco exploradas en trabajos anteriores. Para abordar estos problemas, presentamos FlashVDM, un marco sistemático para acelerar tanto el VAE como el DiT en el VDM. Para el DiT, FlashVDM permite un muestreo de difusión flexible con tan solo 5 pasos de inferencia y una calidad comparable, lo cual se logra al estabilizar la destilación de consistencia con nuestra nueva técnica de Destilación de Flujo Progresivo. Para el VAE, introducimos un decodificador vecset ultrarrápido equipado con Selección Adaptativa de KV, Decodificación de Volumen Jerárquica y Diseño de Red Eficiente. Al aprovechar la localidad del vecset y la escasez de la superficie de la forma en el volumen, nuestro decodificador reduce drásticamente los FLOPs, minimizando la sobrecarga general de decodificación. Aplicamos FlashVDM a Hunyuan3D-2 para obtener Hunyuan3D-2 Turbo. Mediante una evaluación sistemática, demostramos que nuestro modelo supera significativamente a los métodos existentes de generación 3D rápida, logrando un rendimiento comparable al estado del arte mientras reduce el tiempo de inferencia en más de 45x para la reconstrucción y 32x para la generación. El código y los modelos están disponibles en https://github.com/Tencent/FlashVDM.

English

3D shape generation has greatly flourished through the development of so-called "native" 3D diffusion, particularly through the Vecset Diffusion Model (VDM). While recent advancements have shown promising results in generating high-resolution 3D shapes, VDM still struggles with high-speed generation. Challenges exist because of difficulties not only in accelerating diffusion sampling but also VAE decoding in VDM, areas under-explored in previous works. To address these challenges, we present FlashVDM, a systematic framework for accelerating both VAE and DiT in VDM. For DiT, FlashVDM enables flexible diffusion sampling with as few as 5 inference steps and comparable quality, which is made possible by stabilizing consistency distillation with our newly introduced Progressive Flow Distillation. For VAE, we introduce a lightning vecset decoder equipped with Adaptive KV Selection, Hierarchical Volume Decoding, and Efficient Network Design. By exploiting the locality of the vecset and the sparsity of shape surface in the volume, our decoder drastically lowers FLOPs, minimizing the overall decoding overhead. We apply FlashVDM to Hunyuan3D-2 to obtain Hunyuan3D-2 Turbo. Through systematic evaluation, we show that our model significantly outperforms existing fast 3D generation methods, achieving comparable performance to the state-of-the-art while reducing inference time by over 45x for reconstruction and 32x for generation. Code and models are available at https://github.com/Tencent/FlashVDM.