GaussianDreamerPro: 고품질이 크게 향상된 조작 가능한 3D 가우시안 생성기

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

저자: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

초록

최근 3D 가우시안 스플래팅(3D-GS)은 실세계 장면의 재구성 및 렌더링에서 큰 성공을 거두었습니다. 이러한 높은 렌더링 품질을 생성 작업으로 전환하기 위해, 일련의 연구 작업들이 텍스트로부터 3D 가우시안 자산을 생성하려 시도해 왔습니다. 그러나 생성된 자산들은 재구성 작업에서의 품질과 동일한 수준에 도달하지 못했습니다. 우리는 생성 과정에서 불확정성이 발생함에 따라 가우시안들이 통제 없이 성장하는 경향을 관찰했습니다. 생성 품질을 크게 향상시키기 위해, 우리는 GaussianDreamerPro라는 새로운 프레임워크를 제안합니다. 주요 아이디어는 가우시안들을 합리적인 기하 구조에 결속시키는 것으로, 이 기하 구조는 전체 생성 과정을 통해 진화합니다. 우리 프레임워크의 다양한 단계를 따라 기하 구조와 외관 모두 점진적으로 풍부해질 수 있습니다. 최종 출력 자산은 메시에 결속된 3D 가우시안들로 구성되며, 이전 방법들과 비교하여 상당히 향상된 디테일과 품질을 보여줍니다. 특히, 생성된 자산은 애니메이션, 합성, 시뮬레이션 등과 같은 하위 조작 파이프라인에 원활하게 통합될 수 있어, 다양한 응용 분야에서의 잠재력을 크게 증진시킵니다. 데모는 https://taoranyi.com/gaussiandreamerpro/에서 확인할 수 있습니다.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.