Escultura de Imagens: Edição Precisa de Objetos com Controle de Geometria 3D
Image Sculpting: Precise Object Editing with 3D Geometry Control
January 2, 2024
Autores: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie
cs.AI
Resumo
Apresentamos o Image Sculpting, uma nova estrutura para edição de imagens 2D ao incorporar ferramentas da geometria e gráficos 3D. Essa abordagem difere significativamente dos métodos existentes, que se limitam a espaços 2D e geralmente dependem de instruções textuais, resultando em ambiguidade e controle limitado. O Image Sculpting converte objetos 2D em 3D, permitindo interação direta com sua geometria 3D. Após a edição, esses objetos são renderizados novamente em 2D, integrando-se à imagem original para produzir resultados de alta fidelidade por meio de um processo de aprimoramento de grosso a fino. A estrutura suporta opções de edição precisas, quantificáveis e fisicamente plausíveis, como edição de pose, rotação, translação, composição 3D, escultura e adição serial. Ela representa um passo inicial em direção à combinação da liberdade criativa dos modelos generativos com a precisão dos pipelines gráficos.
English
We present Image Sculpting, a new framework for editing 2D images by
incorporating tools from 3D geometry and graphics. This approach differs
markedly from existing methods, which are confined to 2D spaces and typically
rely on textual instructions, leading to ambiguity and limited control. Image
Sculpting converts 2D objects into 3D, enabling direct interaction with their
3D geometry. Post-editing, these objects are re-rendered into 2D, merging into
the original image to produce high-fidelity results through a coarse-to-fine
enhancement process. The framework supports precise, quantifiable, and
physically-plausible editing options such as pose editing, rotation,
translation, 3D composition, carving, and serial addition. It marks an initial
step towards combining the creative freedom of generative models with the
precision of graphics pipelines.