Turbo3D: Geração Ultra-rápida de Texto para 3D

Turbo3D: Ultra-fast Text-to-3D Generation

December 5, 2024

Autores: Hanzhe Hu, Tianwei Yin, Fujun Luan, Yiwei Hu, Hao Tan, Zexiang Xu, Sai Bi, Shubham Tulsiani, Kai Zhang

cs.AI

Resumo

Apresentamos o Turbo3D, um sistema de texto para 3D ultra-rápido capaz de gerar ativos de splatting gaussiano de alta qualidade em menos de um segundo. O Turbo3D emprega um gerador de difusão de 4 etapas e 4 visualizações rápidas e um reconstrutor gaussiano feed-forward eficiente, ambos operando no espaço latente. O gerador de 4 etapas e 4 visualizações é um modelo estudante destilado por meio de uma abordagem de Duplo-Professor inovadora, que incentiva o estudante a aprender consistência de visualização de um professor de múltiplas visualizações e realismo fotográfico de um professor de única visualização. Ao deslocar as entradas do reconstrutor gaussiano do espaço de pixel para o espaço latente, eliminamos o tempo extra de decodificação de imagem e reduzimos pela metade o comprimento da sequência do transformador para máxima eficiência. Nosso método demonstra resultados superiores na geração de 3D em comparação com baselines anteriores, operando em uma fração de seu tempo de execução.

English

We present Turbo3D, an ultra-fast text-to-3D system capable of generating high-quality Gaussian splatting assets in under one second. Turbo3D employs a rapid 4-step, 4-view diffusion generator and an efficient feed-forward Gaussian reconstructor, both operating in latent space. The 4-step, 4-view generator is a student model distilled through a novel Dual-Teacher approach, which encourages the student to learn view consistency from a multi-view teacher and photo-realism from a single-view teacher. By shifting the Gaussian reconstructor's inputs from pixel space to latent space, we eliminate the extra image decoding time and halve the transformer sequence length for maximum efficiency. Our method demonstrates superior 3D generation results compared to previous baselines, while operating in a fraction of their runtime.