SHAP-EDITOR: Edição Latente 3D Guiada por Instruções em Segundos

SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds

December 14, 2023

Autores: Minghao Chen, Junyu Xie, Iro Laina, Andrea Vedaldi

cs.AI

Resumo

Propomos uma nova estrutura de edição 3D feed-forward chamada Shap-Editor. Pesquisas anteriores sobre edição de objetos 3D concentraram-se principalmente na edição de objetos individuais, aproveitando redes de edição de imagens 2D prontas para uso. Isso é alcançado por meio de um processo chamado destilação, que transfere conhecimento da rede 2D para ativos 3D. A destilação requer pelo menos dezenas de minutos por ativo para obter resultados de edição satisfatórios e, portanto, não é muito prática. Em contraste, questionamos se a edição 3D pode ser realizada diretamente por uma rede feed-forward, evitando a otimização em tempo de teste. Em particular, hipotetizamos que a edição pode ser bastante simplificada ao codificar primeiro objetos 3D em um espaço latente adequado. Validamos essa hipótese construindo sobre o espaço latente do Shap-E. Demonstramos que a edição 3D direta nesse espaço é possível e eficiente, construindo uma rede de edição feed-forward que requer apenas aproximadamente um segundo por edição. Nossos experimentos mostram que o Shap-Editor generaliza bem para ativos 3D dentro e fora da distribuição com diferentes prompts, exibindo desempenho comparável a métodos que realizam otimização em tempo de teste para cada instância editada.

English

We propose a novel feed-forward 3D editing framework called Shap-Editor. Prior research on editing 3D objects primarily concentrated on editing individual objects by leveraging off-the-shelf 2D image editing networks. This is achieved via a process called distillation, which transfers knowledge from the 2D network to 3D assets. Distillation necessitates at least tens of minutes per asset to attain satisfactory editing results, and is thus not very practical. In contrast, we ask whether 3D editing can be carried out directly by a feed-forward network, eschewing test-time optimisation. In particular, we hypothesise that editing can be greatly simplified by first encoding 3D objects in a suitable latent space. We validate this hypothesis by building upon the latent space of Shap-E. We demonstrate that direct 3D editing in this space is possible and efficient by building a feed-forward editor network that only requires approximately one second per edit. Our experiments show that Shap-Editor generalises well to both in-distribution and out-of-distribution 3D assets with different prompts, exhibiting comparable performance with methods that carry out test-time optimisation for each edited instance.