SHAP-EDITOR : Édition latente 3D guidée par instructions en quelques secondes

SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds

December 14, 2023

Auteurs: Minghao Chen, Junyu Xie, Iro Laina, Andrea Vedaldi

cs.AI

Résumé

Nous proposons un nouveau cadre d'édition 3D en propagation directe appelé Shap-Editor. Les recherches antérieures sur l'édition d'objets 3D se concentraient principalement sur la modification d'objets individuels en exploitant des réseaux d'édition d'images 2D prêts à l'emploi. Cela est réalisé via un processus appelé distillation, qui transfère les connaissances du réseau 2D vers les actifs 3D. La distillation nécessite au moins plusieurs dizaines de minutes par actif pour obtenir des résultats d'édition satisfaisants, ce qui la rend peu pratique. En revanche, nous nous demandons si l'édition 3D peut être réalisée directement par un réseau en propagation directe, évitant ainsi l'optimisation au moment du test. En particulier, nous émettons l'hypothèse que l'édition peut être grandement simplifiée en encodant d'abord les objets 3D dans un espace latent approprié. Nous validons cette hypothèse en nous appuyant sur l'espace latent de Shap-E. Nous démontrons que l'édition 3D directe dans cet espace est possible et efficace en construisant un réseau d'édition en propagation directe qui ne nécessite qu'environ une seconde par modification. Nos expériences montrent que Shap-Editor généralise bien à la fois aux actifs 3D dans la distribution et hors distribution avec différents prompts, affichant des performances comparables aux méthodes qui effectuent une optimisation au moment du test pour chaque instance éditée.

English

We propose a novel feed-forward 3D editing framework called Shap-Editor. Prior research on editing 3D objects primarily concentrated on editing individual objects by leveraging off-the-shelf 2D image editing networks. This is achieved via a process called distillation, which transfers knowledge from the 2D network to 3D assets. Distillation necessitates at least tens of minutes per asset to attain satisfactory editing results, and is thus not very practical. In contrast, we ask whether 3D editing can be carried out directly by a feed-forward network, eschewing test-time optimisation. In particular, we hypothesise that editing can be greatly simplified by first encoding 3D objects in a suitable latent space. We validate this hypothesis by building upon the latent space of Shap-E. We demonstrate that direct 3D editing in this space is possible and efficient by building a feed-forward editor network that only requires approximately one second per edit. Our experiments show that Shap-Editor generalises well to both in-distribution and out-of-distribution 3D assets with different prompts, exhibiting comparable performance with methods that carry out test-time optimisation for each edited instance.