One-2-3-45++: Snelle Conversie van Enkele Afbeelding naar 3D-objecten met Consistente Multi-View Generatie en 3D Diffusie

One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View Generation and 3D Diffusion

November 14, 2023

Auteurs: Minghua Liu, Ruoxi Shi, Linghao Chen, Zhuoyang Zhang, Chao Xu, Xinyue Wei, Hansheng Chen, Chong Zeng, Jiayuan Gu, Hao Su

cs.AI

Samenvatting

Recente vooruitgang in de generatie van 3D-objecten in open werelden is opmerkelijk, waarbij beeld-naar-3D-methoden een superieure, fijnmazige controle bieden in vergelijking met hun tekst-naar-3D-tegenhangers. De meeste bestaande modellen schieten echter tekort in het gelijktijdig bieden van snelle generatiesnelheden en een hoge trouw aan de invoerbeelden – twee kenmerken die essentieel zijn voor praktische toepassingen. In dit artikel presenteren we One-2-3-45++, een innovatieve methode die een enkel beeld omzet in een gedetailleerd 3D-textuurmesh in ongeveer één minuut. Onze aanpak is gericht op het volledig benutten van de uitgebreide kennis die is ingebed in 2D-diffusiemodellen en prioriteiten uit waardevolle maar beperkte 3D-gegevens. Dit wordt bereikt door eerst een 2D-diffusiemodel af te stemmen voor consistente multi-view beeldgeneratie, gevolgd door het verheffen van deze beelden naar 3D met behulp van multi-view geconditioneerde 3D-native diffusiemodellen. Uitgebreide experimentele evaluaties tonen aan dat onze methode hoogwaardige, diverse 3D-assets kan produceren die nauw aansluiten bij het oorspronkelijke invoerbeeld. Onze projectwebpagina: https://sudo-ai-3d.github.io/One2345plus_page.

English

Recent advancements in open-world 3D object generation have been remarkable, with image-to-3D methods offering superior fine-grained control over their text-to-3D counterparts. However, most existing models fall short in simultaneously providing rapid generation speeds and high fidelity to input images - two features essential for practical applications. In this paper, we present One-2-3-45++, an innovative method that transforms a single image into a detailed 3D textured mesh in approximately one minute. Our approach aims to fully harness the extensive knowledge embedded in 2D diffusion models and priors from valuable yet limited 3D data. This is achieved by initially finetuning a 2D diffusion model for consistent multi-view image generation, followed by elevating these images to 3D with the aid of multi-view conditioned 3D native diffusion models. Extensive experimental evaluations demonstrate that our method can produce high-quality, diverse 3D assets that closely mirror the original input image. Our project webpage: https://sudo-ai-3d.github.io/One2345plus_page.