Customize-It-3D: Criação de Alta Qualidade em 3D a Partir de uma Única Imagem Utilizando Conhecimento Prévio Específico do Assunto

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

December 15, 2023

Autores: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang

cs.AI

Resumo

Neste artigo, apresentamos uma nova abordagem em duas etapas que utiliza plenamente as informações fornecidas pela imagem de referência para estabelecer um conhecimento prévio personalizado para a geração de imagem-para-3D. Enquanto abordagens anteriores dependem principalmente de um prévio de difusão geral, que luta para produzir resultados consistentes com a imagem de referência, propomos um modelo de difusão específico para o sujeito e multimodal. Esse modelo não apenas auxilia a otimização do NeRF ao considerar o modo de sombreamento para melhorar a geometria, mas também aprimora a textura a partir dos resultados iniciais para alcançar um refinamento superior. Ambos os aspectos contribuem para alinhar fielmente o conteúdo 3D com o sujeito. Experimentos extensivos demonstram a superioridade do nosso método, Customize-It-3D, superando trabalhos anteriores por uma margem substancial. Ele produz reconstruções fiéis de 360 graus com qualidade visual impressionante, tornando-o bem adequado para várias aplicações, incluindo a criação de texto-para-3D.

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.