SHAP-EDITOR: 命令誘導型の潜在3D編集を数秒で実現

要旨

我々はShap-Editorと呼ばれる新しいフィードフォワード型3D編集フレームワークを提案する。これまでの3Dオブジェクト編集に関する研究は、主に既存の2D画像編集ネットワークを活用して個々のオブジェクトを編集することに焦点を当ててきた。これは蒸留と呼ばれるプロセスを通じて実現され、2Dネットワークから3Dアセットへ知識を転送する。蒸留では、満足のいく編集結果を得るために少なくとも数十分かかるため、実用的とは言い難い。対照的に、我々はテスト時の最適化を避け、フィードフォワードネットワークによって直接3D編集が可能かどうかを問う。特に、3Dオブジェクトを適切な潜在空間にエンコードすることで編集が大幅に簡素化されると仮説を立てた。我々はShap-Eの潜在空間を基盤としてこの仮説を検証し、この空間での直接的な3D編集が可能かつ効率的であることを示す。具体的には、編集ごとに約1秒しか必要としないフィードフォワード型エディタネットワークを構築した。実験の結果、Shap-Editorは異なるプロンプトに対して、分布内および分布外の3Dアセットにうまく一般化し、編集インスタンスごとにテスト時の最適化を行う手法と同等の性能を示すことが確認された。

English

We propose a novel feed-forward 3D editing framework called Shap-Editor. Prior research on editing 3D objects primarily concentrated on editing individual objects by leveraging off-the-shelf 2D image editing networks. This is achieved via a process called distillation, which transfers knowledge from the 2D network to 3D assets. Distillation necessitates at least tens of minutes per asset to attain satisfactory editing results, and is thus not very practical. In contrast, we ask whether 3D editing can be carried out directly by a feed-forward network, eschewing test-time optimisation. In particular, we hypothesise that editing can be greatly simplified by first encoding 3D objects in a suitable latent space. We validate this hypothesis by building upon the latent space of Shap-E. We demonstrate that direct 3D editing in this space is possible and efficient by building a feed-forward editor network that only requires approximately one second per edit. Our experiments show that Shap-Editor generalises well to both in-distribution and out-of-distribution 3D assets with different prompts, exhibiting comparable performance with methods that carry out test-time optimisation for each edited instance.

SHAP-EDITOR: 命令誘導型の潜在3D編集を数秒で実現

SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds

要旨

Support