Shap-E: 조건부 3D 암시적 함수 생성

초록

본 논문에서는 3D 자산을 위한 조건부 생성 모델인 Shap-E를 소개한다. 최근의 3D 생성 모델 연구가 단일 출력 표현을 생성하는 데 초점을 맞추고 있는 반면, Shap-E는 텍스처가 적용된 메시와 신경 방사 필드(NeRF)로 모두 렌더링될 수 있는 암시적 함수의 매개변수를 직접 생성한다. Shap-E는 두 단계로 학습된다: 첫째, 3D 자산을 암시적 함수의 매개변수로 결정론적으로 매핑하는 인코더를 학습하고, 둘째, 이 인코더의 출력에 대해 조건부 확산 모델을 학습한다. 대규모 3D 및 텍스트 데이터 쌍으로 학습된 결과, 본 모델은 복잡하고 다양한 3D 자산을 단 몇 초 만에 생성할 수 있다. 점 구름에 대한 명시적 생성 모델인 Point-E와 비교했을 때, Shap-E는 더 높은 차원의 다중 표현 출력 공간을 모델링함에도 불구하고 더 빠르게 수렴하며, 유사하거나 더 나은 샘플 품질을 달성한다. 모델 가중치, 추론 코드 및 샘플은 https://github.com/openai/shap-e에서 공개한다.

English

We present Shap-E, a conditional generative model for 3D assets. Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. We train Shap-E in two stages: first, we train an encoder that deterministically maps 3D assets into the parameters of an implicit function; second, we train a conditional diffusion model on outputs of the encoder. When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds. When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space. We release model weights, inference code, and samples at https://github.com/openai/shap-e.

Shap-E: 조건부 3D 암시적 함수 생성

Shap-E: Generating Conditional 3D Implicit Functions

초록

Support