Escultura de Imágenes: Edición Precisa de Objetos con Control de Geometría 3D

Image Sculpting: Precise Object Editing with 3D Geometry Control

January 2, 2024

Autores: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie

cs.AI

Resumen

Presentamos Image Sculpting, un nuevo marco para editar imágenes 2D mediante la incorporación de herramientas de geometría y gráficos 3D. Este enfoque difiere notablemente de los métodos existentes, que se limitan a espacios 2D y suelen depender de instrucciones textuales, lo que genera ambigüedad y control limitado. Image Sculpting convierte objetos 2D en 3D, permitiendo la interacción directa con su geometría 3D. Después de la edición, estos objetos se vuelven a renderizar en 2D, fusionándose con la imagen original para producir resultados de alta fidelidad a través de un proceso de mejora de grueso a fino. El marco admite opciones de edición precisas, cuantificables y físicamente plausibles, como la edición de poses, rotación, traslación, composición 3D, tallado y adición en serie. Este marco representa un primer paso hacia la combinación de la libertad creativa de los modelos generativos con la precisión de las canalizaciones gráficas.

English

We present Image Sculpting, a new framework for editing 2D images by incorporating tools from 3D geometry and graphics. This approach differs markedly from existing methods, which are confined to 2D spaces and typically rely on textual instructions, leading to ambiguity and limited control. Image Sculpting converts 2D objects into 3D, enabling direct interaction with their 3D geometry. Post-editing, these objects are re-rendered into 2D, merging into the original image to produce high-fidelity results through a coarse-to-fine enhancement process. The framework supports precise, quantifiable, and physically-plausible editing options such as pose editing, rotation, translation, 3D composition, carving, and serial addition. It marks an initial step towards combining the creative freedom of generative models with the precision of graphics pipelines.