Repaint123: 점진적 제어 가능한 2D 리페인팅을 통한 빠르고 고품질의 단일 이미지 3D 생성

Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting

December 20, 2023

저자: Junwu Zhang, Zhenyu Tang, Yatian Pang, Xinhua Cheng, Peng Jin, Yida Wei, Wangbo Yu, Munan Ning, Li Yuan

cs.AI

초록

최근의 단일 이미지에서 3D 생성으로의 전환 방법들은 주로 Score Distillation Sampling (SDS)을 채택하고 있습니다. 인상적인 결과에도 불구하고, 다중 뷰 불일치, 과포화 및 과도하게 매끄러운 텍스처, 그리고 느린 생성 속도와 같은 여러 가지 문제점들이 존재합니다. 이러한 문제점들을 해결하기 위해, 우리는 다중 뷰 편향과 텍스처 저하를 완화하고 생성 과정을 가속화하기 위한 Repaint123을 제안합니다. 핵심 아이디어는 2D 확산 모델의 강력한 이미지 생성 능력과 리페인팅 전략의 텍스처 정렬 능력을 결합하여 일관된 고품질 다중 뷰 이미지를 생성하는 것입니다. 또한, 리페인팅 과정에서 생성된 이미지의 품질을 향상시키기 위해 중첩 영역에 대한 가시성 인식 적응형 리페인팅 강도를 제안합니다. 생성된 고품질 및 다중 뷰 일관성 이미지는 빠른 3D 콘텐츠 생성을 위해 간단한 Mean Square Error (MSE) 손실을 사용할 수 있게 합니다. 우리는 광범위한 실험을 수행하고, 우리의 방법이 2분 만에 다중 뷰 일관성과 섬세한 텍스처를 가진 고품질 3D 콘텐츠를 생성하는 우수한 능력을 보여줍니다. 코드는 https://github.com/junwuzhang19/repaint123에서 확인할 수 있습니다.

English

Recent one image to 3D generation methods commonly adopt Score Distillation Sampling (SDS). Despite the impressive results, there are multiple deficiencies including multi-view inconsistency, over-saturated and over-smoothed textures, as well as the slow generation speed. To address these deficiencies, we present Repaint123 to alleviate multi-view bias as well as texture degradation and speed up the generation process. The core idea is to combine the powerful image generation capability of the 2D diffusion model and the texture alignment ability of the repainting strategy for generating high-quality multi-view images with consistency. We further propose visibility-aware adaptive repainting strength for overlap regions to enhance the generated image quality in the repainting process. The generated high-quality and multi-view consistent images enable the use of simple Mean Square Error (MSE) loss for fast 3D content generation. We conduct extensive experiments and show that our method has a superior ability to generate high-quality 3D content with multi-view consistency and fine textures in 2 minutes from scratch. Code is at https://github.com/junwuzhang19/repaint123.