Inpaint4Drag: Reaproveitamento de Modelos de Inpaint para Edição de Imagens Baseada em Arrasto via Deformação Bidirecional

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

Autores: Jingyi Lu, Kai Han

cs.AI

Resumo

A edição de imagens baseada em arrasto surgiu como um paradigma poderoso para a manipulação intuitiva de imagens. No entanto, as abordagens existentes dependem predominantemente da manipulação do espaço latente de modelos generativos, resultando em precisão limitada, feedback atrasado e restrições específicas do modelo. Diante disso, apresentamos o Inpaint4Drag, uma nova estrutura que decompõe a edição baseada em arrasto em deformação bidirecional no espaço de pixels e preenchimento de imagens. Inspirados pela deformação elástica de objetos no mundo físico, tratamos as regiões da imagem como materiais deformáveis que mantêm a forma natural sob manipulação do usuário. Nosso método alcança visualizações de deformação em tempo real (0,01s) e preenchimento eficiente (0,3s) em resolução de 512x512, melhorando significativamente a experiência de interação em comparação com os métodos existentes que exigem minutos por edição. Ao transformar entradas de arrasto diretamente em formatos padrão de preenchimento, nossa abordagem serve como um adaptador universal para qualquer modelo de preenchimento sem modificação de arquitetura, herdando automaticamente todos os avanços futuros na tecnologia de preenchimento. Experimentos extensivos demonstram que nosso método alcança qualidade visual superior e controle preciso, mantendo o desempenho em tempo real. Página do projeto: https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/