Customize-It-3D: Hoogwaardige 3D-creatie vanuit één afbeelding met behulp van onderwerp-specifieke kennisprior

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

December 15, 2023

Auteurs: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang

cs.AI

Samenvatting

In dit artikel presenteren we een nieuwe tweestapsbenadering die volledig gebruikmaakt van de informatie die door de referentieafbeelding wordt geboden om een aangepaste kennisprior te creëren voor beeld-naar-3D-generatie. Terwijl eerdere benaderingen voornamelijk vertrouwen op een algemene diffusieprior, die moeite heeft om consistente resultaten met de referentieafbeelding te leveren, stellen we een onderwerp-specifiek en multimodaal diffusiemodel voor. Dit model ondersteunt niet alleen NeRF-optimalisatie door de schaduwmodus te overwegen voor verbeterde geometrie, maar versterkt ook de textuur vanuit de ruwe resultaten om superieure verfijning te bereiken. Beide aspecten dragen bij aan het nauwkeurig uitlijnen van de 3D-inhoud met het onderwerp. Uitgebreide experimenten tonen de superioriteit van onze methode, Customize-It-3D, aan, die eerdere werken met een aanzienlijke marge overtreft. Het produceert nauwkeurige 360-gradenreconstructies met indrukwekkende visuele kwaliteit, waardoor het geschikt is voor diverse toepassingen, waaronder tekst-naar-3D-creatie.

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.