Shap-E: Генерация условных 3D неявных функций

Shap-E: Generating Conditional 3D Implicit Functions

May 3, 2023

Авторы: Heewoo Jun, Alex Nichol

cs.AI

Аннотация

Мы представляем Shap-E, условную генеративную модель для создания 3D-объектов. В отличие от недавних работ по генеративным моделям для 3D, которые производят единое выходное представление, Shap-E напрямую генерирует параметры неявных функций, которые могут быть визуализированы как текстурированные сетки и нейронные поля излучения. Мы обучаем Shap-E в два этапа: сначала мы обучаем кодировщик, который детерминированно отображает 3D-объекты в параметры неявной функции; затем мы обучаем условную диффузионную модель на выходах этого кодировщика. При обучении на большом наборе данных, содержащем пары 3D-объектов и текстов, наши модели способны генерировать сложные и разнообразные 3D-объекты за считанные секунды. По сравнению с Point-E, явной генеративной моделью для облаков точек, Shap-E сходится быстрее и достигает сопоставимого или лучшего качества образцов, несмотря на моделирование более высокоразмерного пространства выходных данных с множественными представлениями. Мы публикуем веса модели, код для вывода и примеры на https://github.com/openai/shap-e.

English

We present Shap-E, a conditional generative model for 3D assets. Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. We train Shap-E in two stages: first, we train an encoder that deterministically maps 3D assets into the parameters of an implicit function; second, we train a conditional diffusion model on outputs of the encoder. When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds. When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space. We release model weights, inference code, and samples at https://github.com/openai/shap-e.