Turbo3D: Ultraschnelle Text-zu-3D Generierung

Zusammenfassung

Wir präsentieren Turbo3D, ein ultraschnelles Text-in-3D-System, das in der Lage ist, hochwertige Gauss'sche Splatting-Assets in weniger als einer Sekunde zu generieren. Turbo3D verwendet einen schnellen 4-Schritt-, 4-Ansichts-Diffusionsgenerator und einen effizienten Feedforward-Gauß'schen Rekonstrukteur, die beide im latenten Raum arbeiten. Der 4-Schritt-, 4-Ansichts-Generator ist ein Schülermodell, das durch einen neuartigen Dual-Lehrer-Ansatz destilliert wurde, der den Schüler dazu ermutigt, Ansichtskonsistenz von einem Multi-Ansichts-Lehrer und Fotorealismus von einem Einzel-Ansichts-Lehrer zu erlernen. Durch die Verschiebung der Eingaben des Gauß'schen Rekonstrukteurs vom Pixelraum in den latenten Raum eliminieren wir die zusätzliche Bilddecodierungszeit und halbieren die Transformatorsequenzlänge für maximale Effizienz. Unsere Methode zeigt überlegene 3D-Generierungsergebnisse im Vergleich zu früheren Baselines, während sie in einem Bruchteil ihrer Laufzeit arbeitet.

English

We present Turbo3D, an ultra-fast text-to-3D system capable of generating high-quality Gaussian splatting assets in under one second. Turbo3D employs a rapid 4-step, 4-view diffusion generator and an efficient feed-forward Gaussian reconstructor, both operating in latent space. The 4-step, 4-view generator is a student model distilled through a novel Dual-Teacher approach, which encourages the student to learn view consistency from a multi-view teacher and photo-realism from a single-view teacher. By shifting the Gaussian reconstructor's inputs from pixel space to latent space, we eliminate the extra image decoding time and halve the transformer sequence length for maximum efficiency. Our method demonstrates superior 3D generation results compared to previous baselines, while operating in a fraction of their runtime.

Turbo3D: Ultraschnelle Text-zu-3D Generierung

Turbo3D: Ultra-fast Text-to-3D Generation

Zusammenfassung

Summary

Support

Support