Customize-It-3D: Создание высококачественных 3D-моделей из одного изображения с использованием предметно-ориентированных априорных знаний
Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior
December 15, 2023
Авторы: Nan Huang, Ting Zhang, Yuhui Yuan, Dong Chen, Shanghang Zhang
cs.AI
Аннотация
В данной статье мы представляем новый двухэтапный подход, который полностью использует информацию, предоставляемую эталонным изображением, для создания персонализированного априорного знания в задаче генерации 3D-моделей из изображений. В то время как предыдущие подходы в основном полагаются на общий диффузионный априор, который часто не позволяет достичь согласованности с эталонным изображением, мы предлагаем предметно-ориентированную и многомодальную диффузионную модель. Эта модель не только способствует оптимизации NeRF за счет учета режима затенения для улучшения геометрии, но также улучшает текстуру, начиная с грубых результатов, чтобы достичь превосходного уточнения. Оба аспекта способствуют точному согласованию 3D-контента с объектом. Многочисленные эксперименты демонстрируют превосходство нашего метода, Customize-It-3D, значительно опережающего предыдущие работы. Он создает точные 360-градусные реконструкции с впечатляющим визуальным качеством, что делает его хорошо подходящим для различных приложений, включая создание 3D-моделей из текста.
English
In this paper, we present a novel two-stage approach that fully utilizes the
information provided by the reference image to establish a customized knowledge
prior for image-to-3D generation. While previous approaches primarily rely on a
general diffusion prior, which struggles to yield consistent results with the
reference image, we propose a subject-specific and multi-modal diffusion model.
This model not only aids NeRF optimization by considering the shading mode for
improved geometry but also enhances texture from the coarse results to achieve
superior refinement. Both aspects contribute to faithfully aligning the 3D
content with the subject. Extensive experiments showcase the superiority of our
method, Customize-It-3D, outperforming previous works by a substantial margin.
It produces faithful 360-degree reconstructions with impressive visual quality,
making it well-suited for various applications, including text-to-3D creation.