One-2-3-45++: Generazione Rapida di Oggetti 3D da una Singola Immagine con Creazione Coerente di Multi-Viste e Diffusione 3D

One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View Generation and 3D Diffusion

November 14, 2023

Autori: Minghua Liu, Ruoxi Shi, Linghao Chen, Zhuoyang Zhang, Chao Xu, Xinyue Wei, Hansheng Chen, Chong Zeng, Jiayuan Gu, Hao Su

cs.AI

Abstract

I recenti progressi nella generazione di oggetti 3D in mondi aperti sono stati notevoli, con i metodi da immagine a 3D che offrono un controllo fine-granulare superiore rispetto alle loro controparti da testo a 3D. Tuttavia, la maggior parte dei modelli esistenti non riesce a fornire simultaneamente velocità di generazione rapida e alta fedeltà alle immagini di input, due caratteristiche essenziali per applicazioni pratiche. In questo articolo, presentiamo One-2-3-45++, un metodo innovativo che trasforma una singola immagine in una mesh 3D dettagliata e texturizzata in circa un minuto. Il nostro approccio mira a sfruttare appieno la vasta conoscenza incorporata nei modelli di diffusione 2D e nei prior derivati da dati 3D preziosi ma limitati. Questo viene ottenuto inizialmente affinando un modello di diffusione 2D per la generazione coerente di immagini multi-vista, seguito dall'elevazione di queste immagini a 3D con l'aiuto di modelli di diffusione 3D nativi condizionati da multi-vista. Valutazioni sperimentali estensive dimostrano che il nostro metodo può produrre asset 3D di alta qualità e diversificati che rispecchiano fedelmente l'immagine di input originale. La pagina web del nostro progetto: https://sudo-ai-3d.github.io/One2345plus_page.

English

Recent advancements in open-world 3D object generation have been remarkable, with image-to-3D methods offering superior fine-grained control over their text-to-3D counterparts. However, most existing models fall short in simultaneously providing rapid generation speeds and high fidelity to input images - two features essential for practical applications. In this paper, we present One-2-3-45++, an innovative method that transforms a single image into a detailed 3D textured mesh in approximately one minute. Our approach aims to fully harness the extensive knowledge embedded in 2D diffusion models and priors from valuable yet limited 3D data. This is achieved by initially finetuning a 2D diffusion model for consistent multi-view image generation, followed by elevating these images to 3D with the aid of multi-view conditioned 3D native diffusion models. Extensive experimental evaluations demonstrate that our method can produce high-quality, diverse 3D assets that closely mirror the original input image. Our project webpage: https://sudo-ai-3d.github.io/One2345plus_page.