Scultura di Immagini: Modifica Precisa degli Oggetti con Controllo della Geometria 3D

Image Sculpting: Precise Object Editing with 3D Geometry Control

January 2, 2024

Autori: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie

cs.AI

Abstract

Presentiamo Image Sculpting, un nuovo framework per l'editing di immagini 2D che incorpora strumenti provenienti dalla geometria e dalla grafica 3D. Questo approccio si distingue nettamente dai metodi esistenti, che sono limitati agli spazi 2D e si basano tipicamente su istruzioni testuali, portando ad ambiguità e controllo limitato. Image Sculpting converte oggetti 2D in 3D, consentendo un'interazione diretta con la loro geometria tridimensionale. Dopo l'editing, questi oggetti vengono nuovamente renderizzati in 2D, fondendosi con l'immagine originale per produrre risultati ad alta fedeltà attraverso un processo di miglioramento da grossolano a fine. Il framework supporta opzioni di editing precise, quantificabili e fisicamente plausibili, come la modifica della posa, la rotazione, la traslazione, la composizione 3D, l'intaglio e l'aggiunta seriale. Rappresenta un primo passo verso la combinazione della libertà creativa dei modelli generativi con la precisione delle pipeline grafiche.

English

We present Image Sculpting, a new framework for editing 2D images by incorporating tools from 3D geometry and graphics. This approach differs markedly from existing methods, which are confined to 2D spaces and typically rely on textual instructions, leading to ambiguity and limited control. Image Sculpting converts 2D objects into 3D, enabling direct interaction with their 3D geometry. Post-editing, these objects are re-rendered into 2D, merging into the original image to produce high-fidelity results through a coarse-to-fine enhancement process. The framework supports precise, quantifiable, and physically-plausible editing options such as pose editing, rotation, translation, 3D composition, carving, and serial addition. It marks an initial step towards combining the creative freedom of generative models with the precision of graphics pipelines.