One-2-3-45: Elke Afbeelding naar 3D-Mesh in 45 Seconden zonder Per-Vorm Optimalisatie

Samenvatting

3D-reconstructie uit één enkele afbeelding is een belangrijke maar uitdagende taak die uitgebreide kennis van onze natuurlijke wereld vereist. Veel bestaande methoden lossen dit probleem op door een neurale stralingsveld te optimaliseren onder begeleiding van 2D-diffusiemodellen, maar lijden onder lange optimalisatietijden, 3D-inconsistente resultaten en slechte geometrie. In dit werk stellen we een nieuwe methode voor die een enkele afbeelding van een willekeurig object als invoer neemt en een volledige 360-graden 3D-textuurmesh genereert in één enkele voorwaartse doorloop. Gegeven een enkele afbeelding gebruiken we eerst een op het gezichtspunt gebaseerd 2D-diffusiemodel, Zero123, om multi-view afbeeldingen te genereren voor de invoerweergave, en streven we ernaar deze naar de 3D-ruimte te tillen. Omdat traditionele reconstructiemethoden moeite hebben met inconsistente multi-view voorspellingen, bouwen we ons 3D-reconstructiemodule op een SDF-gebaseerde generaliseerbare neurale oppervlakreconstructiemethode en stellen we verschillende cruciale trainingsstrategieën voor om de reconstructie van 360-graden meshes mogelijk te maken. Zonder kostbare optimalisaties reconstrueert onze methode 3D-vormen in aanzienlijk minder tijd dan bestaande methoden. Bovendien levert onze methode betere geometrie op, genereert meer 3D-consistente resultaten en houdt zich nauwer aan de invoerafbeelding. We evalueren onze aanpak op zowel synthetische data als afbeeldingen uit de praktijk en tonen de superioriteit aan in termen van zowel meshkwaliteit als looptijd. Daarnaast kan onze aanpak naadloos de tekst-naar-3D-taak ondersteunen door te integreren met kant-en-klare tekst-naar-afbeelding diffusiemodellen.

English

Single image 3D reconstruction is an important but challenging task that requires extensive knowledge of our natural world. Many existing methods solve this problem by optimizing a neural radiance field under the guidance of 2D diffusion models but suffer from lengthy optimization time, 3D inconsistency results, and poor geometry. In this work, we propose a novel method that takes a single image of any object as input and generates a full 360-degree 3D textured mesh in a single feed-forward pass. Given a single image, we first use a view-conditioned 2D diffusion model, Zero123, to generate multi-view images for the input view, and then aim to lift them up to 3D space. Since traditional reconstruction methods struggle with inconsistent multi-view predictions, we build our 3D reconstruction module upon an SDF-based generalizable neural surface reconstruction method and propose several critical training strategies to enable the reconstruction of 360-degree meshes. Without costly optimizations, our method reconstructs 3D shapes in significantly less time than existing methods. Moreover, our method favors better geometry, generates more 3D consistent results, and adheres more closely to the input image. We evaluate our approach on both synthetic data and in-the-wild images and demonstrate its superiority in terms of both mesh quality and runtime. In addition, our approach can seamlessly support the text-to-3D task by integrating with off-the-shelf text-to-image diffusion models.

One-2-3-45: Elke Afbeelding naar 3D-Mesh in 45 Seconden zonder Per-Vorm Optimalisatie

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

Samenvatting

Support