Shap-E : Génération de fonctions implicites 3D conditionnelles

Shap-E: Generating Conditional 3D Implicit Functions

May 3, 2023

Auteurs: Heewoo Jun, Alex Nichol

cs.AI

Résumé

Nous présentons Shap-E, un modèle génératif conditionnel pour des actifs 3D. Contrairement aux travaux récents sur les modèles génératifs 3D qui produisent une seule représentation de sortie, Shap-E génère directement les paramètres de fonctions implicites qui peuvent être rendues à la fois sous forme de maillages texturés et de champs de radiance neuronaux. Nous entraînons Shap-E en deux étapes : d'abord, nous entraînons un encodeur qui mappe de manière déterministe des actifs 3D vers les paramètres d'une fonction implicite ; ensuite, nous entraînons un modèle de diffusion conditionnelle sur les sorties de l'encodeur. Lorsqu'il est entraîné sur un grand ensemble de données jumelées 3D et textuelles, nos modèles résultants sont capables de générer des actifs 3D complexes et diversifiés en quelques secondes. Comparé à Point-E, un modèle génératif explicite sur des nuages de points, Shap-E converge plus rapidement et atteint une qualité d'échantillon comparable ou supérieure, malgré la modélisation d'un espace de sortie multidimensionnel et multi-représentation. Nous publions les poids des modèles, le code d'inférence et des échantillons sur https://github.com/openai/shap-e.

English

We present Shap-E, a conditional generative model for 3D assets. Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. We train Shap-E in two stages: first, we train an encoder that deterministically maps 3D assets into the parameters of an implicit function; second, we train a conditional diffusion model on outputs of the encoder. When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds. When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space. We release model weights, inference code, and samples at https://github.com/openai/shap-e.