Inpaint4Drag : Réutilisation des modèles de réparation d'image pour l'édition basée sur le glissement via déformation bidirectionnelle

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

papers.authors: Jingyi Lu, Kai Han

cs.AI

papers.abstract

L'édition d'images basée sur le glissement (drag-based) s'est imposée comme un paradigme puissant pour la manipulation intuitive d'images. Cependant, les approches existantes reposent principalement sur la manipulation de l'espace latent des modèles génératifs, ce qui entraîne une précision limitée, un retour d'information retardé et des contraintes spécifiques aux modèles. Par conséquent, nous présentons Inpaint4Drag, un nouveau cadre qui décompose l'édition basée sur le glissement en un warp bidirectionnel dans l'espace des pixels et une inpainting d'image. Inspirés par la déformation élastique des objets dans le monde physique, nous traitons les régions de l'image comme des matériaux déformables qui conservent une forme naturelle sous la manipulation de l'utilisateur. Notre méthode permet des prévisualisations de warp en temps réel (0,01s) et une inpainting efficace (0,3s) à une résolution de 512x512, améliorant considérablement l'expérience d'interaction par rapport aux méthodes existantes qui nécessitent plusieurs minutes par modification. En transformant directement les entrées de glissement en formats d'inpainting standard, notre approche sert d'adaptateur universel pour tout modèle d'inpainting sans modification de l'architecture, héritant automatiquement de toutes les améliorations futures de la technologie d'inpainting. Des expériences approfondies démontrent que notre méthode atteint une qualité visuelle supérieure et un contrôle précis tout en maintenant des performances en temps réel. Page du projet : https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/