Turbo3D: Generación ultrarrápida de texto a 3D

Resumen

Presentamos Turbo3D, un sistema ultra rápido de texto a 3D capaz de generar activos de splatting gaussiano de alta calidad en menos de un segundo. Turbo3D emplea un generador de difusión de 4 pasos y 4 vistas rápidas y un eficiente reconstructor gaussiano feed-forward, ambos operando en un espacio latente. El generador de 4 pasos y 4 vistas es un modelo estudiante destilado a través de un enfoque novedoso de Doble-Profesor, que anima al estudiante a aprender consistencia de vistas de un profesor de múltiples vistas y realismo fotográfico de un profesor de una sola vista. Al desplazar las entradas del reconstructor gaussiano del espacio de píxeles al espacio latente, eliminamos el tiempo adicional de decodificación de imágenes y reducimos a la mitad la longitud de la secuencia del transformador para lograr la máxima eficiencia. Nuestro método demuestra resultados de generación 3D superiores en comparación con líneas base anteriores, mientras opera en una fracción de su tiempo de ejecución.

English

We present Turbo3D, an ultra-fast text-to-3D system capable of generating high-quality Gaussian splatting assets in under one second. Turbo3D employs a rapid 4-step, 4-view diffusion generator and an efficient feed-forward Gaussian reconstructor, both operating in latent space. The 4-step, 4-view generator is a student model distilled through a novel Dual-Teacher approach, which encourages the student to learn view consistency from a multi-view teacher and photo-realism from a single-view teacher. By shifting the Gaussian reconstructor's inputs from pixel space to latent space, we eliminate the extra image decoding time and halve the transformer sequence length for maximum efficiency. Our method demonstrates superior 3D generation results compared to previous baselines, while operating in a fraction of their runtime.

Turbo3D: Generación ultrarrápida de texto a 3D

Turbo3D: Ultra-fast Text-to-3D Generation

Resumen

Summary

Support

Support