SHAP-EDITOR: Редактирование скрытых 3D-моделей по инструкциям за секунды

SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds

December 14, 2023

Авторы: Minghao Chen, Junyu Xie, Iro Laina, Andrea Vedaldi

cs.AI

Аннотация

Мы предлагаем новый фреймворк для прямого редактирования 3D-объектов под названием Shap-Editor. Предыдущие исследования в области редактирования 3D-объектов в основном сосредотачивались на редактировании отдельных объектов с использованием готовых сетей для редактирования 2D-изображений. Это достигается с помощью процесса, называемого дистилляцией, который переносит знания из 2D-сети в 3D-активы. Дистилляция требует как минимум десятков минут на каждый объект для достижения удовлетворительных результатов редактирования, что делает её не очень практичной. В отличие от этого, мы задаёмся вопросом, можно ли выполнять редактирование 3D-объектов напрямую с помощью прямой сети, избегая оптимизации во время тестирования. В частности, мы предполагаем, что редактирование может быть значительно упрощено, если сначала закодировать 3D-объекты в подходящем латентном пространстве. Мы проверяем эту гипотезу, основываясь на латентном пространстве Shap-E. Мы демонстрируем, что прямое редактирование 3D-объектов в этом пространстве возможно и эффективно, создавая прямую сеть для редактирования, которая требует всего около одной секунды на каждое изменение. Наши эксперименты показывают, что Shap-Editor хорошо обобщается как на объекты из распределения, так и на объекты вне распределения, с различными запросами, демонстрируя сопоставимую производительность с методами, которые выполняют оптимизацию во время тестирования для каждого редактируемого экземпляра.

English

We propose a novel feed-forward 3D editing framework called Shap-Editor. Prior research on editing 3D objects primarily concentrated on editing individual objects by leveraging off-the-shelf 2D image editing networks. This is achieved via a process called distillation, which transfers knowledge from the 2D network to 3D assets. Distillation necessitates at least tens of minutes per asset to attain satisfactory editing results, and is thus not very practical. In contrast, we ask whether 3D editing can be carried out directly by a feed-forward network, eschewing test-time optimisation. In particular, we hypothesise that editing can be greatly simplified by first encoding 3D objects in a suitable latent space. We validate this hypothesis by building upon the latent space of Shap-E. We demonstrate that direct 3D editing in this space is possible and efficient by building a feed-forward editor network that only requires approximately one second per edit. Our experiments show that Shap-Editor generalises well to both in-distribution and out-of-distribution 3D assets with different prompts, exhibiting comparable performance with methods that carry out test-time optimisation for each edited instance.