Раскрытие потенциала диффузионной модели Vecset для быстрого создания форм

Unleashing Vecset Diffusion Model for Fast Shape Generation

March 20, 2025

Авторы: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Haolin Liu, Fuyun Wang, Huiwen Shi, Xianghui Yang, Qinxiang Lin, Jinwei Huang, Yuhong Liu, Jie Jiang, Chunchao Guo, Xiangyu Yue

cs.AI

Аннотация

Генерация 3D-форм значительно продвинулась благодаря развитию так называемых "нативных" 3D диффузионных моделей, в частности, благодаря модели Vecset Diffusion Model (VDM). Хотя последние достижения демонстрируют многообещающие результаты в создании высококачественных 3D-форм, VDM по-прежнему сталкивается с трудностями в ускорении генерации. Эти проблемы связаны не только с ускорением диффузионного сэмплирования, но и с декодированием VAE в VDM, что оставалось недостаточно изученным в предыдущих работах. Для решения этих задач мы представляем FlashVDM — систематическую структуру для ускорения как VAE, так и DiT в VDM. Для DiT FlashVDM обеспечивает гибкое диффузионное сэмплирование всего за 5 шагов вывода с сохранением сопоставимого качества, что стало возможным благодаря стабилизации консистентного дистилляции с использованием нашего нового метода Progressive Flow Distillation. Для VAE мы предлагаем быстрый декодер vecset, оснащённый Adaptive KV Selection, Hierarchical Volume Decoding и Efficient Network Design. Используя локальность vecset и разреженность поверхности формы в объёме, наш декодер значительно снижает количество операций (FLOPs), минимизируя общие затраты на декодирование. Мы применяем FlashVDM к модели Hunyuan3D-2, создавая Hunyuan3D-2 Turbo. Систематическая оценка показывает, что наша модель значительно превосходит существующие методы быстрой 3D-генерации, достигая сопоставимой производительности с современными решениями, при этом сокращая время вывода более чем в 45 раз для реконструкции и в 32 раза для генерации. Код и модели доступны по адресу https://github.com/Tencent/FlashVDM.

English

3D shape generation has greatly flourished through the development of so-called "native" 3D diffusion, particularly through the Vecset Diffusion Model (VDM). While recent advancements have shown promising results in generating high-resolution 3D shapes, VDM still struggles with high-speed generation. Challenges exist because of difficulties not only in accelerating diffusion sampling but also VAE decoding in VDM, areas under-explored in previous works. To address these challenges, we present FlashVDM, a systematic framework for accelerating both VAE and DiT in VDM. For DiT, FlashVDM enables flexible diffusion sampling with as few as 5 inference steps and comparable quality, which is made possible by stabilizing consistency distillation with our newly introduced Progressive Flow Distillation. For VAE, we introduce a lightning vecset decoder equipped with Adaptive KV Selection, Hierarchical Volume Decoding, and Efficient Network Design. By exploiting the locality of the vecset and the sparsity of shape surface in the volume, our decoder drastically lowers FLOPs, minimizing the overall decoding overhead. We apply FlashVDM to Hunyuan3D-2 to obtain Hunyuan3D-2 Turbo. Through systematic evaluation, we show that our model significantly outperforms existing fast 3D generation methods, achieving comparable performance to the state-of-the-art while reducing inference time by over 45x for reconstruction and 32x for generation. Code and models are available at https://github.com/Tencent/FlashVDM.