One-2-3-45: Da qualsiasi singola immagine a una mesh 3D in 45 secondi senza ottimizzazione per forma specifica

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

June 29, 2023

Autori: Minghua Liu, Chao Xu, Haian Jin, Linghao Chen, Mukund Varma T, Zexiang Xu, Hao Su

cs.AI

Abstract

La ricostruzione 3D da una singola immagine è un compito importante ma impegnativo che richiede una conoscenza approfondita del nostro mondo naturale. Molti metodi esistenti risolvono questo problema ottimizzando un campo di radianza neurale sotto la guida di modelli di diffusione 2D, ma soffrono di tempi di ottimizzazione prolungati, risultati 3D incoerenti e geometrie scadenti. In questo lavoro, proponiamo un metodo innovativo che prende in input una singola immagine di qualsiasi oggetto e genera una mesh 3D texturizzata a 360 gradi in un unico passaggio feed-forward. Data una singola immagine, utilizziamo prima un modello di diffusione 2D condizionato alla vista, Zero123, per generare immagini multi-vista per la vista di input, e poi miriamo a sollevarle nello spazio 3D. Poiché i metodi di ricostruzione tradizionali faticano con previsioni multi-vista incoerenti, costruiamo il nostro modulo di ricostruzione 3D su un metodo di ricostruzione neurale generalizzabile basato su SDF e proponiamo diverse strategie di addestramento critiche per abilitare la ricostruzione di mesh a 360 gradi. Senza costose ottimizzazioni, il nostro metodo ricostruisce forme 3D in un tempo significativamente inferiore rispetto ai metodi esistenti. Inoltre, il nostro metodo favorisce una migliore geometria, genera risultati più coerenti in 3D e aderisce più strettamente all'immagine di input. Valutiamo il nostro approccio sia su dati sintetici che su immagini reali e ne dimostriamo la superiorità in termini di qualità della mesh e tempo di esecuzione. Inoltre, il nostro approccio può supportare senza soluzione di continuità il compito di testo-a-3D integrandosi con modelli di diffusione testo-immagine disponibili sul mercato.

English

Single image 3D reconstruction is an important but challenging task that requires extensive knowledge of our natural world. Many existing methods solve this problem by optimizing a neural radiance field under the guidance of 2D diffusion models but suffer from lengthy optimization time, 3D inconsistency results, and poor geometry. In this work, we propose a novel method that takes a single image of any object as input and generates a full 360-degree 3D textured mesh in a single feed-forward pass. Given a single image, we first use a view-conditioned 2D diffusion model, Zero123, to generate multi-view images for the input view, and then aim to lift them up to 3D space. Since traditional reconstruction methods struggle with inconsistent multi-view predictions, we build our 3D reconstruction module upon an SDF-based generalizable neural surface reconstruction method and propose several critical training strategies to enable the reconstruction of 360-degree meshes. Without costly optimizations, our method reconstructs 3D shapes in significantly less time than existing methods. Moreover, our method favors better geometry, generates more 3D consistent results, and adheres more closely to the input image. We evaluate our approach on both synthetic data and in-the-wild images and demonstrate its superiority in terms of both mesh quality and runtime. In addition, our approach can seamlessly support the text-to-3D task by integrating with off-the-shelf text-to-image diffusion models.