Скульптурирование изображений: точное редактирование объектов с управлением 3D-геометрией

Image Sculpting: Precise Object Editing with 3D Geometry Control

January 2, 2024

Авторы: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie

cs.AI

Аннотация

Мы представляем Image Sculpting — новый фреймворк для редактирования 2D-изображений, который интегрирует инструменты из области 3D-геометрии и графики. Этот подход существенно отличается от существующих методов, ограниченных 2D-пространством и обычно полагающихся на текстовые инструкции, что приводит к неоднозначности и ограниченному контролю. Image Sculpting преобразует 2D-объекты в 3D, позволяя напрямую взаимодействовать с их 3D-геометрией. После редактирования эти объекты повторно визуализируются в 2D, интегрируясь в исходное изображение для получения высококачественных результатов через процесс поэтапного улучшения. Фреймворк поддерживает точные, измеримые и физически правдоподобные варианты редактирования, такие как изменение позы, вращение, перемещение, 3D-композиция, вырезание и последовательное добавление. Это первый шаг к объединению творческой свободы генеративных моделей с точностью графических конвейеров.

English

We present Image Sculpting, a new framework for editing 2D images by incorporating tools from 3D geometry and graphics. This approach differs markedly from existing methods, which are confined to 2D spaces and typically rely on textual instructions, leading to ambiguity and limited control. Image Sculpting converts 2D objects into 3D, enabling direct interaction with their 3D geometry. Post-editing, these objects are re-rendered into 2D, merging into the original image to produce high-fidelity results through a coarse-to-fine enhancement process. The framework supports precise, quantifiable, and physically-plausible editing options such as pose editing, rotation, translation, 3D composition, carving, and serial addition. It marks an initial step towards combining the creative freedom of generative models with the precision of graphics pipelines.