Shap-E: Generación de Funciones Implícitas 3D Condicionales

Shap-E: Generating Conditional 3D Implicit Functions

May 3, 2023

Autores: Heewoo Jun, Alex Nichol

cs.AI

Resumen

Presentamos Shap-E, un modelo generativo condicional para activos 3D. A diferencia de trabajos recientes sobre modelos generativos 3D que producen una única representación de salida, Shap-E genera directamente los parámetros de funciones implícitas que pueden renderizarse tanto como mallas texturizadas como campos de radiancia neurales. Entrenamos Shap-E en dos etapas: primero, entrenamos un codificador que mapea determinísticamente activos 3D a los parámetros de una función implícita; segundo, entrenamos un modelo de difusión condicional sobre las salidas del codificador. Cuando se entrena con un gran conjunto de datos de pares 3D y texto, nuestros modelos resultantes son capaces de generar activos 3D complejos y diversos en cuestión de segundos. En comparación con Point-E, un modelo generativo explícito sobre nubes de puntos, Shap-E converge más rápido y alcanza una calidad de muestras comparable o mejor, a pesar de modelar un espacio de salida de mayor dimensionalidad y múltiples representaciones. Publicamos los pesos del modelo, el código de inferencia y muestras en https://github.com/openai/shap-e.

English

We present Shap-E, a conditional generative model for 3D assets. Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. We train Shap-E in two stages: first, we train an encoder that deterministically maps 3D assets into the parameters of an implicit function; second, we train a conditional diffusion model on outputs of the encoder. When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds. When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space. We release model weights, inference code, and samples at https://github.com/openai/shap-e.