SHAP-EDITOR: Modifica Latente 3D Guidata da Istruzioni in Secondi

SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds

December 14, 2023

Autori: Minghao Chen, Junyu Xie, Iro Laina, Andrea Vedaldi

cs.AI

Abstract

Proponiamo un nuovo framework di editing 3D feed-forward chiamato Shap-Editor. Le ricerche precedenti sull'editing di oggetti 3D si sono principalmente concentrate sulla modifica di singoli oggetti sfruttando reti di editing di immagini 2D preesistenti. Questo viene ottenuto attraverso un processo chiamato distillazione, che trasferisce la conoscenza dalla rete 2D agli asset 3D. La distillazione richiede almeno decine di minuti per asset per ottenere risultati di editing soddisfacenti, e quindi non è molto pratica. Al contrario, ci chiediamo se l'editing 3D possa essere eseguito direttamente da una rete feed-forward, evitando l'ottimizzazione al momento del test. In particolare, ipotizziamo che l'editing possa essere notevolmente semplificato codificando prima gli oggetti 3D in uno spazio latente appropriato. Validiamo questa ipotesi basandoci sullo spazio latente di Shap-E. Dimostriamo che l'editing 3D diretto in questo spazio è possibile ed efficiente costruendo una rete editor feed-forward che richiede solo circa un secondo per modifica. I nostri esperimenti mostrano che Shap-Editor generalizza bene sia per asset 3D in-distribuzione che out-of-distribuzione con diversi prompt, mostrando prestazioni comparabili con metodi che eseguono l'ottimizzazione al momento del test per ogni istanza modificata.

English

We propose a novel feed-forward 3D editing framework called Shap-Editor. Prior research on editing 3D objects primarily concentrated on editing individual objects by leveraging off-the-shelf 2D image editing networks. This is achieved via a process called distillation, which transfers knowledge from the 2D network to 3D assets. Distillation necessitates at least tens of minutes per asset to attain satisfactory editing results, and is thus not very practical. In contrast, we ask whether 3D editing can be carried out directly by a feed-forward network, eschewing test-time optimisation. In particular, we hypothesise that editing can be greatly simplified by first encoding 3D objects in a suitable latent space. We validate this hypothesis by building upon the latent space of Shap-E. We demonstrate that direct 3D editing in this space is possible and efficient by building a feed-forward editor network that only requires approximately one second per edit. Our experiments show that Shap-Editor generalises well to both in-distribution and out-of-distribution 3D assets with different prompts, exhibiting comparable performance with methods that carry out test-time optimisation for each edited instance.