SHAP-EDITOR: Instructiegestuurd latent 3D-bewerken in seconden

SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds

December 14, 2023

Auteurs: Minghao Chen, Junyu Xie, Iro Laina, Andrea Vedaldi

cs.AI

Samenvatting

Wij stellen een nieuw feed-forward 3D-bewerkingsframework voor, genaamd Shap-Editor. Eerder onderzoek naar het bewerken van 3D-objecten richtte zich voornamelijk op het bewerken van individuele objecten door gebruik te maken van bestaande 2D-afbeeldingsbewerkingsnetwerken. Dit wordt bereikt via een proces genaamd distillatie, waarbij kennis wordt overgedragen van het 2D-netwerk naar 3D-assets. Distillatie vereist minstens tientallen minuten per asset om bevredigende bewerkingsresultaten te behalen, en is daardoor niet erg praktisch. In tegenstelling daarmee vragen wij ons af of 3D-bewerking direct kan worden uitgevoerd door een feed-forward netwerk, zonder test-time optimalisatie. In het bijzonder stellen wij de hypothese dat bewerking aanzienlijk kan worden vereenvoudigd door eerst 3D-objecten te coderen in een geschikte latente ruimte. Wij valideren deze hypothese door voort te bouwen op de latente ruimte van Shap-E. Wij tonen aan dat directe 3D-bewerking in deze ruimte mogelijk en efficiënt is door een feed-forward bewerkingsnetwerk te bouwen dat slechts ongeveer één seconde per bewerking vereist. Onze experimenten laten zien dat Shap-Editor goed generaliseert naar zowel in-distributie als out-of-distributie 3D-assets met verschillende prompts, en vergelijkbare prestaties vertoont met methoden die test-time optimalisatie uitvoeren voor elk bewerkt exemplaar.

English

We propose a novel feed-forward 3D editing framework called Shap-Editor. Prior research on editing 3D objects primarily concentrated on editing individual objects by leveraging off-the-shelf 2D image editing networks. This is achieved via a process called distillation, which transfers knowledge from the 2D network to 3D assets. Distillation necessitates at least tens of minutes per asset to attain satisfactory editing results, and is thus not very practical. In contrast, we ask whether 3D editing can be carried out directly by a feed-forward network, eschewing test-time optimisation. In particular, we hypothesise that editing can be greatly simplified by first encoding 3D objects in a suitable latent space. We validate this hypothesis by building upon the latent space of Shap-E. We demonstrate that direct 3D editing in this space is possible and efficient by building a feed-forward editor network that only requires approximately one second per edit. Our experiments show that Shap-Editor generalises well to both in-distribution and out-of-distribution 3D assets with different prompts, exhibiting comparable performance with methods that carry out test-time optimisation for each edited instance.