Shap-E: Het genereren van conditionele 3D impliciete functies

Shap-E: Generating Conditional 3D Implicit Functions

May 3, 2023

Auteurs: Heewoo Jun, Alex Nichol

cs.AI

Samenvatting

We presenteren Shap-E, een conditioneel generatief model voor 3D-assets. In tegenstelling tot recent werk over 3D-generatieve modellen die een enkele uitvoerrepresentatie produceren, genereert Shap-E direct de parameters van impliciete functies die kunnen worden weergegeven als zowel getextureerde meshes als neurale radiance fields. We trainen Shap-E in twee fasen: eerst trainen we een encoder die deterministisch 3D-assets afbeeldt op de parameters van een impliciete functie; vervolgens trainen we een conditioneel diffusiemodel op de uitvoer van de encoder. Wanneer getraind op een grote dataset van gepaarde 3D- en tekstgegevens, zijn onze resulterende modellen in staat om complexe en diverse 3D-assets in enkele seconden te genereren. In vergelijking met Point-E, een expliciet generatief model over puntenwolken, convergeert Shap-E sneller en bereikt het een vergelijkbare of betere samplekwaliteit, ondanks het modelleren van een hoger-dimensionale, multi-representatie uitvoerruimte. We geven modelgewichten, inferentiecode en samples vrij op https://github.com/openai/shap-e.

English

We present Shap-E, a conditional generative model for 3D assets. Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. We train Shap-E in two stages: first, we train an encoder that deterministically maps 3D assets into the parameters of an implicit function; second, we train a conditional diffusion model on outputs of the encoder. When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds. When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space. We release model weights, inference code, and samples at https://github.com/openai/shap-e.