AGG: 단일 이미지에서 3D로의 변환을 위한 분할 생성 3D 가우시안
AGG: Amortized Generative 3D Gaussians for Single Image to 3D
January 8, 2024
저자: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat
cs.AI
초록
자동화된 3D 콘텐츠 생성 파이프라인에 대한 필요성이 증가함에 따라, 단일 이미지로부터 3D 객체를 생성하기 위해 다양한 3D 표현 방식이 연구되어 왔습니다. 특히, 뛰어난 렌더링 효율성으로 인해 3D 가우시안 스플래팅 기반 모델이 최근 3D 재구성 및 생성 분야에서 두각을 나타내고 있습니다. 이미지에서 3D 생성을 위한 3D 가우시안 스플래팅 접근법은 주로 최적화 기반으로, 많은 계산 비용이 드는 점수 증류 단계를 필요로 합니다. 이러한 문제를 극복하기 위해, 우리는 단일 이미지에서 즉각적으로 3D 가우시안을 생성하는 Amortized Generative 3D Gaussian 프레임워크(AGG)를 제안합니다. 이 프레임워크는 인스턴스별 최적화가 필요 없도록 설계되었습니다. 중간 하이브리드 표현을 활용하여, AGG는 3D 가우시안의 위치와 다른 외형 속성의 생성을 분해하여 공동 최적화를 수행합니다. 또한, 우리는 먼저 3D 데이터의 대략적인 표현을 생성한 후, 3D 가우시안 초해상도 모듈로 업샘플링하는 캐스케이드 파이프라인을 제안합니다. 우리의 방법은 기존의 최적화 기반 3D 가우시안 프레임워크와 다른 3D 표현 방식을 사용하는 샘플링 기반 파이프라인과 비교 평가되었으며, AGG는 질적 및 양적으로 경쟁력 있는 생성 능력을 보여주면서도 수 배 더 빠른 속도를 자랑합니다. 프로젝트 페이지: https://ir1d.github.io/AGG/
English
Given the growing need for automatic 3D content creation pipelines, various
3D representations have been studied to generate 3D objects from a single
image. Due to its superior rendering efficiency, 3D Gaussian splatting-based
models have recently excelled in both 3D reconstruction and generation. 3D
Gaussian splatting approaches for image to 3D generation are often
optimization-based, requiring many computationally expensive score-distillation
steps. To overcome these challenges, we introduce an Amortized Generative 3D
Gaussian framework (AGG) that instantly produces 3D Gaussians from a single
image, eliminating the need for per-instance optimization. Utilizing an
intermediate hybrid representation, AGG decomposes the generation of 3D
Gaussian locations and other appearance attributes for joint optimization.
Moreover, we propose a cascaded pipeline that first generates a coarse
representation of the 3D data and later upsamples it with a 3D Gaussian
super-resolution module. Our method is evaluated against existing
optimization-based 3D Gaussian frameworks and sampling-based pipelines
utilizing other 3D representations, where AGG showcases competitive generation
abilities both qualitatively and quantitatively while being several orders of
magnitude faster. Project page: https://ir1d.github.io/AGG/