GECO: 초 단위 생성적 이미지-3D 변환

초록

3D 생성 기술은 최근 몇 년 동안 눈부신 발전을 이루었습니다. 점수 증류(score distillation) 방법과 같은 기존 기술은 뛰어난 결과를 생성하지만, 장면별로 광범위한 최적화가 필요하여 시간 효율성에 영향을 미칩니다. 반면, 재구성 기반 접근 방식은 효율성을 우선시하지만 불확실성을 제한적으로 처리하기 때문에 품질이 저하되는 문제가 있습니다. 우리는 고품질 3D 생성 모델링을 초 단위로 수행할 수 있는 새로운 방법인 GECO를 소개합니다. 우리의 접근 방식은 두 단계 프로세스를 통해 현재 방법에서 흔히 발생하는 불확실성과 비효율성 문제를 해결합니다. 첫 번째 단계에서는 점수 증류를 사용하여 단일 단계 다중 뷰(multi-view) 생성 모델을 학습합니다. 그런 다음, 두 번째 단계에서 다중 뷰 예측에서 발생하는 뷰 불일치 문제를 해결하기 위해 추가 증류를 적용합니다. 이 두 단계 프로세스는 3D 생성에서 품질과 효율성을 균형 있게 최적화합니다. 우리의 포괄적인 실험을 통해 GECO가 전례 없는 수준의 효율성으로 고품질의 이미지-투-3D(image-to-3D) 생성을 달성함을 입증했습니다.

English

3D generation has seen remarkable progress in recent years. Existing techniques, such as score distillation methods, produce notable results but require extensive per-scene optimization, impacting time efficiency. Alternatively, reconstruction-based approaches prioritize efficiency but compromise quality due to their limited handling of uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in current methods through a two-stage approach. In the initial stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency from the multi-view prediction. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D generation with an unprecedented level of efficiency.

GECO: 초 단위 생성적 이미지-3D 변환

GECO: Generative Image-to-3D within a SECOnd

초록

Support