Shap-E: Generazione di Funzioni Implicite 3D Condizionali

Shap-E: Generating Conditional 3D Implicit Functions

May 3, 2023

Autori: Heewoo Jun, Alex Nichol

cs.AI

Abstract

Presentiamo Shap-E, un modello generativo condizionale per asset 3D. A differenza dei recenti lavori sui modelli generativi 3D che producono una singola rappresentazione in output, Shap-E genera direttamente i parametri di funzioni implicite che possono essere renderizzate sia come mesh con texture che come campi di radianza neurale. Addestriamo Shap-E in due fasi: prima, addestriamo un encoder che mappa deterministicamente gli asset 3D nei parametri di una funzione implicita; successivamente, addestriamo un modello di diffusione condizionale sugli output dell'encoder. Quando addestrato su un ampio dataset di dati 3D e testuali accoppiati, i nostri modelli risultanti sono in grado di generare asset 3D complessi e diversificati in pochi secondi. Rispetto a Point-E, un modello generativo esplicito su nuvole di punti, Shap-E converge più rapidamente e raggiunge una qualità del campione comparabile o migliore, nonostante modelli uno spazio di output multidimensionale e multi-rappresentazione. Rilasciamo i pesi del modello, il codice di inferenza e i campioni su https://github.com/openai/shap-e.

English

We present Shap-E, a conditional generative model for 3D assets. Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. We train Shap-E in two stages: first, we train an encoder that deterministically maps 3D assets into the parameters of an implicit function; second, we train a conditional diffusion model on outputs of the encoder. When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds. When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space. We release model weights, inference code, and samples at https://github.com/openai/shap-e.