Bildhauerei: Präzise Objektbearbeitung mit 3D-Geometriesteuerung

Image Sculpting: Precise Object Editing with 3D Geometry Control

January 2, 2024

Autoren: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie

cs.AI

Zusammenfassung

Wir präsentieren Image Sculpting, ein neues Framework zur Bearbeitung von 2D-Bildern durch die Integration von Werkzeugen aus der 3D-Geometrie und -Grafik. Dieser Ansatz unterscheidet sich deutlich von bestehenden Methoden, die auf 2D-Räume beschränkt sind und typischerweise auf textuelle Anweisungen angewiesen sind, was zu Mehrdeutigkeiten und begrenzter Kontrolle führt. Image Sculpting wandelt 2D-Objekte in 3D um und ermöglicht eine direkte Interaktion mit ihrer 3D-Geometrie. Nach der Bearbeitung werden diese Objekte wieder in 2D gerendert und in das Originalbild integriert, um durch einen grob-zu-fein-Verbesserungsprozess hochwertige Ergebnisse zu erzielen. Das Framework unterstützt präzise, quantifizierbare und physikalisch plausible Bearbeitungsoptionen wie Pose-Bearbeitung, Rotation, Translation, 3D-Komposition, Schnitzen und serielle Hinzufügung. Es markiert einen ersten Schritt hin zur Kombination der kreativen Freiheit generativer Modelle mit der Präzision von Grafikpipelines.

English

We present Image Sculpting, a new framework for editing 2D images by incorporating tools from 3D geometry and graphics. This approach differs markedly from existing methods, which are confined to 2D spaces and typically rely on textual instructions, leading to ambiguity and limited control. Image Sculpting converts 2D objects into 3D, enabling direct interaction with their 3D geometry. Post-editing, these objects are re-rendered into 2D, merging into the original image to produce high-fidelity results through a coarse-to-fine enhancement process. The framework supports precise, quantifiable, and physically-plausible editing options such as pose editing, rotation, translation, 3D composition, carving, and serial addition. It marks an initial step towards combining the creative freedom of generative models with the precision of graphics pipelines.