Customize-It-3D: Hochwertige 3D-Erstellung aus einem einzelnen Bild unter Verwendung von subjektspezifischem Wissen als Prior

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

December 15, 2023

Autoren: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang

cs.AI

Zusammenfassung

In diesem Artikel präsentieren wir einen neuartigen zweistufigen Ansatz, der die Informationen des Referenzbildes vollständig nutzt, um ein maßgeschneidertes Wissen a priori für die Bild-zu-3D-Generierung zu etablieren. Während frühere Ansätze hauptsächlich auf einem allgemeinen Diffusions-Prior basieren, der Schwierigkeiten hat, konsistente Ergebnisse mit dem Referenzbild zu erzielen, schlagen wir ein subjektspezifisches und multimodales Diffusionsmodell vor. Dieses Modell unterstützt nicht nur die NeRF-Optimierung durch die Berücksichtigung des Beleuchtungsmodus für eine verbesserte Geometrie, sondern verbessert auch die Textur aus den groben Ergebnissen, um eine überlegene Verfeinerung zu erreichen. Beide Aspekte tragen dazu bei, den 3D-Inhalt treu mit dem Subjekt abzustimmen. Umfangreiche Experimente zeigen die Überlegenheit unserer Methode, Customize-It-3D, die frühere Arbeiten deutlich übertrifft. Sie erzeugt treue 360-Grad-Rekonstruktionen mit beeindruckender visueller Qualität, was sie für verschiedene Anwendungen, einschließlich der Text-zu-3D-Erstellung, gut geeignet macht.

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.