Customize-It-3D: 주제별 지식 프라이어를 활용한 단일 이미지 기반 고품질 3D 생성

초록

본 논문에서는 이미지-3D 생성에 맞춤형 지식 사전을 구축하기 위해 참조 이미지가 제공하는 정보를 완전히 활용하는 새로운 2단계 접근 방식을 제안합니다. 기존 접근 방식이 주로 일반적인 확산 모델에 의존하며, 이는 참조 이미지와 일관된 결과를 도출하는 데 어려움을 겪는 반면, 우리는 주체 특화적이고 다중 모달 확산 모델을 제안합니다. 이 모델은 향상된 기하학을 위해 쉐이딩 모드를 고려하여 NeRF 최적화를 지원할 뿐만 아니라, 거친 결과물에서 텍스처를 개선하여 우수한 정제를 달성합니다. 이 두 가지 측면 모두 3D 콘텐츠를 주체와 충실하게 정렬하는 데 기여합니다. 광범위한 실험을 통해 우리의 방법인 Customize-It-3D가 이전 연구를 상당한 차이로 능가하는 우수성을 입증했습니다. 이 방법은 인상적인 시각적 품질로 360도 재구성을 충실하게 생성하며, 텍스트-3D 생성을 포함한 다양한 응용 분야에 적합합니다.

English

In this paper, we present a novel two-stage approach that fully utilizes the information provided by the reference image to establish a customized knowledge prior for image-to-3D generation. While previous approaches primarily rely on a general diffusion prior, which struggles to yield consistent results with the reference image, we propose a subject-specific and multi-modal diffusion model. This model not only aids NeRF optimization by considering the shading mode for improved geometry but also enhances texture from the coarse results to achieve superior refinement. Both aspects contribute to faithfully aligning the 3D content with the subject. Extensive experiments showcase the superiority of our method, Customize-It-3D, outperforming previous works by a substantial margin. It produces faithful 360-degree reconstructions with impressive visual quality, making it well-suited for various applications, including text-to-3D creation.

Customize-It-3D: 주제별 지식 프라이어를 활용한 단일 이미지 기반 고품질 3D 생성

Customize-It-3D: High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

초록

Support