イメージスカルプティング：3Dジオメトリ制御による精密なオブジェクト編集

Image Sculpting: Precise Object Editing with 3D Geometry Control

January 2, 2024

著者: Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie

cs.AI

要旨

本論文では、3Dジオメトリとグラフィックスのツールを統合した2D画像編集のための新しいフレームワーク「Image Sculpting」を提案する。このアプローチは、2D空間に限定され、テキスト指示に依存するために曖昧さと制御の限界がある既存の手法とは大きく異なる。Image Sculptingは2Dオブジェクトを3Dに変換し、その3Dジオメトリと直接対話することを可能にする。編集後、これらのオブジェクトは2Dに再レンダリングされ、粗から細への拡張プロセスを通じて元の画像に統合され、高忠実度の結果を生成する。このフレームワークは、ポーズ編集、回転、平行移動、3D合成、彫刻、連続追加といった、正確で定量化可能かつ物理的に妥当な編集オプションをサポートする。これは、生成モデルの創造的自由とグラフィックスパイプラインの精度を組み合わせるための最初の一歩を示すものである。

English

We present Image Sculpting, a new framework for editing 2D images by incorporating tools from 3D geometry and graphics. This approach differs markedly from existing methods, which are confined to 2D spaces and typically rely on textual instructions, leading to ambiguity and limited control. Image Sculpting converts 2D objects into 3D, enabling direct interaction with their 3D geometry. Post-editing, these objects are re-rendered into 2D, merging into the original image to produce high-fidelity results through a coarse-to-fine enhancement process. The framework supports precise, quantifiable, and physically-plausible editing options such as pose editing, rotation, translation, 3D composition, carving, and serial addition. It marks an initial step towards combining the creative freedom of generative models with the precision of graphics pipelines.