Customize-It-3D : Création de haute qualité en 3D à partir d'une seule image en utilisant un savoir préalable spécifique au sujet

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

December 15, 2023

Auteurs: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang

cs.AI

Résumé

Dans cet article, nous présentons une nouvelle approche en deux étapes qui exploite pleinement les informations fournies par l'image de référence pour établir un a priori de connaissances personnalisé pour la génération d'images en 3D. Alors que les approches précédentes reposent principalement sur un a priori de diffusion général, qui peine à produire des résultats cohérents avec l'image de référence, nous proposons un modèle de diffusion spécifique au sujet et multimodal. Ce modèle non seulement facilite l'optimisation de NeRF en prenant en compte le mode d'ombrage pour améliorer la géométrie, mais améliore également la texture à partir des résultats bruts pour obtenir un affinage supérieur. Ces deux aspects contribuent à aligner fidèlement le contenu 3D avec le sujet. Des expériences approfondies démontrent la supériorité de notre méthode, Customize-It-3D, surpassant de manière significative les travaux précédents. Elle produit des reconstructions fidèles à 360 degrés avec une qualité visuelle impressionnante, la rendant bien adaptée à diverses applications, y compris la création de texte en 3D.

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.