Beeldhouwen: Nauwkeurige Objectbewerking met 3D-geometriebesturing
Image Sculpting: Precise Object Editing with 3D Geometry Control
January 2, 2024
Auteurs: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie
cs.AI
Samenvatting
We presenteren Image Sculpting, een nieuw raamwerk voor het bewerken van 2D-afbeeldingen door tools uit de 3D-geometrie en -grafiek te integreren. Deze aanpak wijkt aanzienlijk af van bestaande methoden, die beperkt zijn tot 2D-ruimtes en doorgaans vertrouwen op tekstuele instructies, wat leidt tot ambiguïteit en beperkte controle. Image Sculpting zet 2D-objecten om in 3D, waardoor directe interactie met hun 3D-geometrie mogelijk wordt. Na bewerking worden deze objecten opnieuw gerenderd in 2D en samengevoegd met de originele afbeelding om hoogwaardige resultaten te produceren via een grof-naar-fijn verfijningsproces. Het raamwerk ondersteunt precieze, kwantificeerbare en fysisch plausibele bewerkingsopties zoals posebewerking, rotatie, translatie, 3D-compositie, uitsnijden en seriële toevoeging. Het markeert een eerste stap naar het combineren van de creatieve vrijheid van generatieve modellen met de precisie van grafische pijplijnen.
English
We present Image Sculpting, a new framework for editing 2D images by
incorporating tools from 3D geometry and graphics. This approach differs
markedly from existing methods, which are confined to 2D spaces and typically
rely on textual instructions, leading to ambiguity and limited control. Image
Sculpting converts 2D objects into 3D, enabling direct interaction with their
3D geometry. Post-editing, these objects are re-rendered into 2D, merging into
the original image to produce high-fidelity results through a coarse-to-fine
enhancement process. The framework supports precise, quantifiable, and
physically-plausible editing options such as pose editing, rotation,
translation, 3D composition, carving, and serial addition. It marks an initial
step towards combining the creative freedom of generative models with the
precision of graphics pipelines.