Sculpture d'image : Édition précise d'objets avec contrôle de la géométrie 3D

Image Sculpting: Precise Object Editing with 3D Geometry Control

January 2, 2024

Auteurs: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie

cs.AI

Résumé

Nous présentons Image Sculpting, un nouveau cadre pour l'édition d'images 2D en intégrant des outils issus de la géométrie et du graphisme 3D. Cette approche diffère nettement des méthodes existantes, qui se limitent aux espaces 2D et reposent généralement sur des instructions textuelles, entraînant ambiguïté et contrôle limité. Image Sculpting transforme les objets 2D en 3D, permettant une interaction directe avec leur géométrie tridimensionnelle. Après édition, ces objets sont réintégrés en 2D, fusionnant avec l'image originale pour produire des résultats haute fidélité grâce à un processus d'amélioration allant du grossier au fin. Le cadre supporte des options d'édition précises, quantifiables et physiquement plausibles telles que la modification de pose, la rotation, la translation, la composition 3D, la sculpture et l'ajout séquentiel. Il marque une première étape vers la combinaison de la liberté créative des modèles génératifs avec la précision des pipelines graphiques.

English

We present Image Sculpting, a new framework for editing 2D images by incorporating tools from 3D geometry and graphics. This approach differs markedly from existing methods, which are confined to 2D spaces and typically rely on textual instructions, leading to ambiguity and limited control. Image Sculpting converts 2D objects into 3D, enabling direct interaction with their 3D geometry. Post-editing, these objects are re-rendered into 2D, merging into the original image to produce high-fidelity results through a coarse-to-fine enhancement process. The framework supports precise, quantifiable, and physically-plausible editing options such as pose editing, rotation, translation, 3D composition, carving, and serial addition. It marks an initial step towards combining the creative freedom of generative models with the precision of graphics pipelines.