One-2-3-45 : Conversion d'une seule image en maillage 3D en 45 secondes sans optimisation par forme

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

June 29, 2023

Auteurs: Minghua Liu, Chao Xu, Haian Jin, Linghao Chen, Mukund Varma T, Zexiang Xu, Hao Su

cs.AI

Résumé

La reconstruction 3D à partir d'une seule image est une tâche importante mais complexe qui nécessite une connaissance approfondie de notre monde naturel. De nombreuses méthodes existantes résolvent ce problème en optimisant un champ de radiance neuronale sous la guidance de modèles de diffusion 2D, mais elles souffrent d'un temps d'optimisation prolongé, de résultats 3D incohérents et d'une géométrie médiocre. Dans ce travail, nous proposons une nouvelle méthode qui prend une seule image de n'importe quel objet en entrée et génère un maillage 3D texturé à 360 degrés en une seule passe directe. Étant donné une seule image, nous utilisons d'abord un modèle de diffusion 2D conditionné par la vue, Zero123, pour générer des images multi-vues pour la vue d'entrée, puis nous cherchons à les élever dans l'espace 3D. Comme les méthodes de reconstruction traditionnelles peinent à gérer les prédictions multi-vues incohérentes, nous construisons notre module de reconstruction 3D sur une méthode de reconstruction de surface neuronale généralisable basée sur SDF et proposons plusieurs stratégies d'entraînement critiques pour permettre la reconstruction de maillages à 360 degrés. Sans optimisations coûteuses, notre méthode reconstruit des formes 3D en un temps significativement plus court que les méthodes existantes. De plus, notre méthode favorise une meilleure géométrie, génère des résultats plus cohérents en 3D et adhère plus étroitement à l'image d'entrée. Nous évaluons notre approche sur des données synthétiques et des images réelles, et démontrons sa supériorité en termes de qualité de maillage et de temps d'exécution. En outre, notre approche peut supporter de manière transparente la tâche de texte-à-3D en s'intégrant avec des modèles de diffusion texte-à-image disponibles sur le marché.

English

Single image 3D reconstruction is an important but challenging task that requires extensive knowledge of our natural world. Many existing methods solve this problem by optimizing a neural radiance field under the guidance of 2D diffusion models but suffer from lengthy optimization time, 3D inconsistency results, and poor geometry. In this work, we propose a novel method that takes a single image of any object as input and generates a full 360-degree 3D textured mesh in a single feed-forward pass. Given a single image, we first use a view-conditioned 2D diffusion model, Zero123, to generate multi-view images for the input view, and then aim to lift them up to 3D space. Since traditional reconstruction methods struggle with inconsistent multi-view predictions, we build our 3D reconstruction module upon an SDF-based generalizable neural surface reconstruction method and propose several critical training strategies to enable the reconstruction of 360-degree meshes. Without costly optimizations, our method reconstructs 3D shapes in significantly less time than existing methods. Moreover, our method favors better geometry, generates more 3D consistent results, and adheres more closely to the input image. We evaluate our approach on both synthetic data and in-the-wild images and demonstrate its superiority in terms of both mesh quality and runtime. In addition, our approach can seamlessly support the text-to-3D task by integrating with off-the-shelf text-to-image diffusion models.