Inpaint4Drag: Reutilización de Modelos de Inpainting para la Edición de Imágenes Basada en Arrastre mediante Deformación Bidireccional

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

Autores: Jingyi Lu, Kai Han

cs.AI

Resumen

La edición de imágenes basada en arrastre ha surgido como un paradigma poderoso para la manipulación intuitiva de imágenes. Sin embargo, los enfoques existentes se basan predominantemente en la manipulación del espacio latente de modelos generativos, lo que conduce a una precisión limitada, retroalimentación retardada y restricciones específicas del modelo. En consecuencia, presentamos Inpaint4Drag, un marco novedoso que descompone la edición basada en arrastre en deformación bidireccional en el espacio de píxeles y restauración de imágenes. Inspirados por la deformación elástica de objetos en el mundo físico, tratamos las regiones de la imagen como materiales deformables que mantienen una forma natural bajo la manipulación del usuario. Nuestro método logra vistas previas de deformación en tiempo real (0.01s) y restauración eficiente (0.3s) en una resolución de 512x512, mejorando significativamente la experiencia de interacción en comparación con los métodos existentes que requieren minutos por edición. Al transformar las entradas de arrastre directamente en formatos estándar de restauración, nuestro enfoque sirve como un adaptador universal para cualquier modelo de restauración sin necesidad de modificar su arquitectura, heredando automáticamente todas las mejoras futuras en la tecnología de restauración. Experimentos extensivos demuestran que nuestro método logra una calidad visual superior y un control preciso mientras mantiene un rendimiento en tiempo real. Página del proyecto: https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/