Inpaint4Drag: Riuso di Modelli di Inpainting per l'Editing di Immagini Basato sul Trascinamento tramite Warping Bidirezionale

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

Autori: Jingyi Lu, Kai Han

cs.AI

Abstract

L'editing di immagini basato sul trascinamento è emerso come un paradigma potente per la manipolazione intuitiva delle immagini. Tuttavia, gli approcci esistenti si basano principalmente sulla manipolazione dello spazio latente dei modelli generativi, portando a una precisione limitata, feedback ritardati e vincoli specifici del modello. Di conseguenza, presentiamo Inpaint4Drag, un nuovo framework che scompone l'editing basato sul trascinamento in una deformazione bidirezionale nello spazio dei pixel e in un'operazione di inpainting. Ispirati dalla deformazione elastica degli oggetti nel mondo fisico, trattiamo le regioni dell'immagine come materiali deformabili che mantengono una forma naturale sotto la manipolazione dell'utente. Il nostro metodo ottiene anteprime di deformazione in tempo reale (0.01s) e un inpainting efficiente (0.3s) a una risoluzione di 512x512, migliorando significativamente l'esperienza di interazione rispetto ai metodi esistenti che richiedono minuti per ogni modifica. Trasformando direttamente gli input di trascinamento in formati standard di inpainting, il nostro approccio funge da adattatore universale per qualsiasi modello di inpainting senza necessità di modifiche architetturali, ereditando automaticamente tutti i futuri miglioramenti nella tecnologia di inpainting. Esperimenti estensivi dimostrano che il nostro metodo raggiunge una qualità visiva superiore e un controllo preciso mantenendo prestazioni in tempo reale. Pagina del progetto: https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/