Inpaint4Drag: Umwidmung von Inpainting-Modellen für Drag-basiertes Bildbearbeiten durch bidirektionale Verzerrung

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

papers.authors: Jingyi Lu, Kai Han

cs.AI

papers.abstract

Drag-basierte Bildbearbeitung hat sich als leistungsstarkes Paradigma für intuitive Bildmanipulation etabliert. Bisherige Ansätze stützen sich jedoch hauptsächlich auf die Manipulation des latenten Raums von generativen Modellen, was zu begrenzter Präzision, verzögertem Feedback und modellspezifischen Einschränkungen führt. Dementsprechend präsentieren wir Inpaint4Drag, ein neuartiges Framework, das drag-basierte Bearbeitung in bidirektionales Warping im Pixelraum und Bildinpainting zerlegt. Inspiriert von der elastischen Objektverformung in der physischen Welt behandeln wir Bildregionen als verformbare Materialien, die unter Benutzermanipulation ihre natürliche Form beibehalten. Unsere Methode erreicht Echtzeit-Warping-Vorschauen (0,01s) und effizientes Inpainting (0,3s) bei einer Auflösung von 512x512, was die Interaktionserfahrung im Vergleich zu bestehenden Methoden, die Minuten pro Bearbeitung benötigen, erheblich verbessert. Indem wir Drag-Eingaben direkt in standardisierte Inpainting-Formate umwandeln, dient unser Ansatz als universeller Adapter für jedes Inpainting-Modell ohne Architekturänderungen und erbt automatisch alle zukünftigen Verbesserungen in der Inpainting-Technologie. Umfangreiche Experimente zeigen, dass unsere Methode eine überlegene visuelle Qualität und präzise Kontrolle bei gleichbleibender Echtzeitleistung erreicht. Projektseite: https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/