One-2-3-45: Jedes einzelne Bild in 45 Sekunden zu einem 3D-Mesh ohne Form-spezifische Optimierung

Zusammenfassung

Die 3D-Rekonstruktion aus einem einzelnen Bild ist eine wichtige, aber herausfordernde Aufgabe, die umfangreiches Wissen über unsere natürliche Welt erfordert. Viele bestehende Methoden lösen dieses Problem, indem sie ein neuronales Strahlungsfeld unter der Anleitung von 2D-Diffusionsmodellen optimieren, leiden jedoch unter langen Optimierungszeiten, 3D-Inkonsistenzen und schlechter Geometrie. In dieser Arbeit schlagen wir eine neuartige Methode vor, die ein einzelnes Bild eines beliebigen Objekts als Eingabe verwendet und ein vollständiges 360-Grad-3D-texturiertes Mesh in einem einzigen Vorwärtspass erzeugt. Bei einem einzelnen Bild verwenden wir zunächst ein sichtbedingtes 2D-Diffusionsmodell, Zero123, um Multi-View-Bilder für die Eingabeansicht zu generieren, und streben dann an, diese in den 3D-Raum zu heben. Da traditionelle Rekonstruktionsmethoden mit inkonsistenten Multi-View-Vorhersagen kämpfen, bauen wir unser 3D-Rekonstruktionsmodul auf einer SDF-basierten generalisierbaren neuronalen Oberflächenrekonstruktionsmethode auf und schlagen mehrere kritische Trainingsstrategien vor, um die Rekonstruktion von 360-Grad-Meshes zu ermöglichen. Ohne kostspielige Optimierungen rekonstruiert unsere Methode 3D-Formen in deutlich kürzerer Zeit als bestehende Methoden. Darüber hinaus begünstigt unsere Methode eine bessere Geometrie, erzeugt 3D-konsistentere Ergebnisse und hält sich enger an das Eingabebild. Wir evaluieren unseren Ansatz sowohl an synthetischen Daten als auch an Bildern aus der realen Welt und demonstrieren seine Überlegenheit in Bezug auf Mesh-Qualität und Laufzeit. Zusätzlich kann unser Ansatz nahtlos die Text-zu-3D-Aufgabe unterstützen, indem er sich mit verfügbaren Text-zu-Bild-Diffusionsmodellen integriert.

English

Single image 3D reconstruction is an important but challenging task that requires extensive knowledge of our natural world. Many existing methods solve this problem by optimizing a neural radiance field under the guidance of 2D diffusion models but suffer from lengthy optimization time, 3D inconsistency results, and poor geometry. In this work, we propose a novel method that takes a single image of any object as input and generates a full 360-degree 3D textured mesh in a single feed-forward pass. Given a single image, we first use a view-conditioned 2D diffusion model, Zero123, to generate multi-view images for the input view, and then aim to lift them up to 3D space. Since traditional reconstruction methods struggle with inconsistent multi-view predictions, we build our 3D reconstruction module upon an SDF-based generalizable neural surface reconstruction method and propose several critical training strategies to enable the reconstruction of 360-degree meshes. Without costly optimizations, our method reconstructs 3D shapes in significantly less time than existing methods. Moreover, our method favors better geometry, generates more 3D consistent results, and adheres more closely to the input image. We evaluate our approach on both synthetic data and in-the-wild images and demonstrate its superiority in terms of both mesh quality and runtime. In addition, our approach can seamlessly support the text-to-3D task by integrating with off-the-shelf text-to-image diffusion models.

One-2-3-45: Jedes einzelne Bild in 45 Sekunden zu einem 3D-Mesh ohne Form-spezifische Optimierung

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

Zusammenfassung

Support