Inpaint4Drag: Hergebruik van Inpainting-modellen voor Drag-Gebaseerde Afbeeldingsbewerking via Bidirectionele Vervorming

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

Auteurs: Jingyi Lu, Kai Han

cs.AI

Samenvatting

Drag-gebaseerde beeldbewerking is naar voren gekomen als een krachtig paradigma voor intuïtieve beeldmanipulatie. Bestaande benaderingen zijn echter voornamelijk gebaseerd op het manipuleren van de latente ruimte van generatieve modellen, wat leidt tot beperkte precisie, vertraagde feedback en model-specifieke beperkingen. Daarom presenteren wij Inpaint4Drag, een nieuw raamwerk dat drag-gebaseerde bewerking ontbindt in bidirectionele vervorming in de pixelruimte en beeldinpainting. Geïnspireerd door elastische objectvervorming in de fysieke wereld, behandelen wij beeldregio's als vervormbare materialen die hun natuurlijke vorm behouden onder gebruikersmanipulatie. Onze methode bereikt real-time vervormingsvoorbeelden (0,01s) en efficiënte inpainting (0,3s) bij een resolutie van 512x512, wat de interactie-ervaring aanzienlijk verbetert in vergelijking met bestaande methoden die minuten per bewerking vereisen. Door drag-inputs direct om te zetten in standaard inpainting-formaten, fungeert onze aanpak als een universele adapter voor elk inpainting-model zonder architectuurwijzigingen, waardoor automatisch alle toekomstige verbeteringen in inpainting-technologie worden geërfd. Uitgebreide experimenten tonen aan dat onze methode superieure visuele kwaliteit en precieze controle bereikt, terwijl real-time prestaties worden behouden. Projectpagina: https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/