Inpaint4Drag: 双方向ワーピングによるドラッグベース画像編集のためのインペインティングモデルの転用

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

著者: Jingyi Lu, Kai Han

cs.AI

要旨

ドラッグベースの画像編集は、直感的な画像操作のための強力なパラダイムとして登場しました。しかし、既存のアプローチは主に生成モデルの潜在空間を操作することに依存しており、精度の制限、フィードバックの遅延、モデル固有の制約といった課題があります。そこで、我々はInpaint4Dragを提案します。これは、ドラッグベースの編集をピクセル空間における双方向ワープと画像インペインティングに分解する新しいフレームワークです。物理世界における弾性物体の変形に着想を得て、画像領域をユーザー操作下で自然な形状を維持する変形可能な材料として扱います。我々の手法は、512x512解像度においてリアルタイムのワーププレビュー（0.01秒）と効率的なインペインティング（0.3秒）を実現し、1回の編集に数分を要する既存の手法と比較して、インタラクション体験を大幅に改善します。ドラッグ入力を直接標準的なインペインティング形式に変換することで、我々のアプローチはアーキテクチャの変更を必要とせずに、あらゆるインペインティングモデルのためのユニバーサルアダプタとして機能し、インペインティング技術の将来の進化を自動的に継承します。広範な実験により、我々の手法がリアルタイム性能を維持しつつ、優れた視覚品質と精密な制御を実現することを示しています。プロジェクトページ: https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/