Shap-E: Erzeugung bedingter 3D-impliziter Funktionen

Shap-E: Generating Conditional 3D Implicit Functions

May 3, 2023

Autoren: Heewoo Jun, Alex Nichol

cs.AI

Zusammenfassung

Wir stellen Shap-E vor, ein bedingtes generatives Modell für 3D-Assets. Im Gegensatz zu aktuellen Arbeiten zu 3D-generativen Modellen, die eine einzige Ausgabedarstellung erzeugen, generiert Shap-E direkt die Parameter impliziter Funktionen, die sowohl als texturierte Meshes als auch als neuronale Strahlungsfelder gerendert werden können. Wir trainieren Shap-E in zwei Stufen: Zuerst trainieren wir einen Encoder, der 3D-Assets deterministisch in die Parameter einer impliziten Funktion abbildet; anschließend trainieren wir ein bedingtes Diffusionsmodell auf den Ausgaben des Encoders. Wenn das Modell auf einem großen Datensatz gepaarter 3D- und Textdaten trainiert wird, ist es in der Lage, komplexe und vielfältige 3D-Assets in Sekundenschnelle zu generieren. Im Vergleich zu Point-E, einem expliziten generativen Modell für Punktwolken, konvergiert Shap-E schneller und erreicht eine vergleichbare oder bessere Probenqualität, obwohl es einen höherdimensionalen, mehrrepräsentativen Ausgaberaum modelliert. Wir veröffentlichen Modellgewichte, Inferenzcode und Beispiele unter https://github.com/openai/shap-e.

English

We present Shap-E, a conditional generative model for 3D assets. Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. We train Shap-E in two stages: first, we train an encoder that deterministically maps 3D assets into the parameters of an implicit function; second, we train a conditional diffusion model on outputs of the encoder. When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds. When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space. We release model weights, inference code, and samples at https://github.com/openai/shap-e.