이미지 조각: 3D 기하학적 제어를 통한 정밀 객체 편집

초록

우리는 3D 기하학 및 그래픽 도구를 통합하여 2D 이미지를 편집하는 새로운 프레임워크인 Image Sculpting을 소개한다. 이 접근 방식은 2D 공간에 국한되고 일반적으로 텍스트 지침에 의존하여 모호성과 제한된 제어를 초래하는 기존 방법과는 현저히 다르다. Image Sculpting은 2D 객체를 3D로 변환하여 그들의 3D 기하학과 직접 상호작용할 수 있게 한다. 편집 후, 이러한 객체는 2D로 다시 렌더링되어 원본 이미지에 통합되며, coarse-to-fine 개선 과정을 통해 고품질 결과를 생성한다. 이 프레임워크는 포즈 편집, 회전, 이동, 3D 구성, 조각, 그리고 연속 추가와 같은 정밀하고 정량적이며 물리적으로 타당한 편집 옵션을 지원한다. 이는 생성 모델의 창의적 자유와 그래픽 파이프라인의 정밀성을 결합하기 위한 초기 단계를 표시한다.

English

We present Image Sculpting, a new framework for editing 2D images by incorporating tools from 3D geometry and graphics. This approach differs markedly from existing methods, which are confined to 2D spaces and typically rely on textual instructions, leading to ambiguity and limited control. Image Sculpting converts 2D objects into 3D, enabling direct interaction with their 3D geometry. Post-editing, these objects are re-rendered into 2D, merging into the original image to produce high-fidelity results through a coarse-to-fine enhancement process. The framework supports precise, quantifiable, and physically-plausible editing options such as pose editing, rotation, translation, 3D composition, carving, and serial addition. It marks an initial step towards combining the creative freedom of generative models with the precision of graphics pipelines.

이미지 조각: 3D 기하학적 제어를 통한 정밀 객체 편집

Image Sculpting: Precise Object Editing with 3D Geometry Control

초록

Support