Customize-It-3D: Creazione di Modelli 3D di Alta Qualità da una Singola Immagine Utilizzando un Prior di Conoscenza Specifica del Soggetto

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

December 15, 2023

Autori: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang

cs.AI

Abstract

In questo articolo, presentiamo un innovativo approccio a due stadi che sfrutta appieno le informazioni fornite dall'immagine di riferimento per stabilire una conoscenza a priori personalizzata per la generazione da immagine a 3D. Mentre i metodi precedenti si basano principalmente su un modello di diffusione generale, che fatica a produrre risultati coerenti con l'immagine di riferimento, noi proponiamo un modello di diffusione specifico per il soggetto e multimodale. Questo modello non solo aiuta l'ottimizzazione di NeRF considerando la modalità di ombreggiatura per migliorare la geometria, ma anche migliora la texture partendo dai risultati grezzi per ottenere un affinamento superiore. Entrambi gli aspetti contribuiscono ad allineare fedelmente il contenuto 3D con il soggetto. Esperimenti estensivi dimostrano la superiorità del nostro metodo, Customize-It-3D, che supera i lavori precedenti con un margine significativo. Produce ricostruzioni fedeli a 360 gradi con una qualità visiva impressionante, rendendolo adatto a varie applicazioni, inclusa la creazione da testo a 3D.

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.