ATT3D: 분할적 텍스트-3D 객체 합성

초록

텍스트-3D 모델링은 생성적 텍스트-이미지 모델과 Neural Radiance Fields와 같은 이미지-3D 방법을 결합함으로써 흥미로운 발전을 이루어 왔습니다. DreamFusion은 최근 고품질의 결과를 달성했지만, 3D 객체를 생성하기 위해 긴 시간이 소요되는 프롬프트별 최적화가 필요합니다. 이를 해결하기 위해, 우리는 개별적으로 최적화하는 대신 통합된 모델을 사용하여 여러 프롬프트를 동시에 학습함으로써 텍스트 프롬프트에 걸친 최적화를 분산시켰습니다. 이를 통해 프롬프트 세트 간의 계산을 공유하여 프롬프트별 최적화보다 더 짧은 시간 내에 학습할 수 있습니다. 우리의 프레임워크인 Amortized Text-to-3D(ATT3D)는 프롬프트 간의 지식 공유를 가능하게 하여 보이지 않는 설정에 일반화하고, 새로운 자산과 간단한 애니메이션을 위한 텍스트 간의 부드러운 보간을 가능하게 합니다.

English

Text-to-3D modelling has seen exciting progress by combining generative text-to-image models with image-to-3D methods like Neural Radiance Fields. DreamFusion recently achieved high-quality results but requires a lengthy, per-prompt optimization to create 3D objects. To address this, we amortize optimization over text prompts by training on many prompts simultaneously with a unified model, instead of separately. With this, we share computation across a prompt set, training in less time than per-prompt optimization. Our framework - Amortized text-to-3D (ATT3D) - enables knowledge-sharing between prompts to generalize to unseen setups and smooth interpolations between text for novel assets and simple animations.

ATT3D: 분할적 텍스트-3D 객체 합성

ATT3D: Amortized Text-to-3D Object Synthesis

초록

Support