Inpaint4Drag: 양방향 워핑을 통한 드래그 기반 이미지 편집을 위한 인페인팅 모델 재활용

Inpaint4Drag: Repurposing Inpainting Models for Drag-Based Image Editing via Bidirectional Warping

September 4, 2025

저자: Jingyi Lu, Kai Han

cs.AI

초록

드래그 기반 이미지 편집은 직관적인 이미지 조작을 위한 강력한 패러다임으로 부상했습니다. 그러나 기존 접근 방식은 주로 생성 모델의 잠재 공간을 조작하는 데 의존하여 제한된 정밀도, 지연된 피드백, 그리고 모델 특정적인 제약을 초래했습니다. 이에 따라, 우리는 Inpaint4Drag라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 드래그 기반 편집을 픽셀 공간의 양방향 워핑과 이미지 인페인팅으로 분해합니다. 물리 세계의 탄성 물체 변형에서 영감을 받아, 우리는 이미지 영역을 사용자 조작 하에서 자연스러운 형태를 유지하는 변형 가능한 재료로 취급합니다. 우리의 방법은 512x512 해상도에서 실시간 워핑 미리보기(0.01초)와 효율적인 인페인팅(0.3초)을 달성하여, 편집당 수 분이 소요되는 기존 방법들에 비해 상호작용 경험을 크게 개선합니다. 드래그 입력을 직접 표준 인페인팅 형식으로 변환함으로써, 우리의 접근 방식은 아키텍처 수정 없이도 모든 인페인팅 모델에 대한 범용 어댑터 역할을 하며, 인페인팅 기술의 모든 미래 개선 사항을 자동으로 상속받습니다. 광범위한 실험을 통해 우리의 방법이 실시간 성능을 유지하면서도 우수한 시각적 품질과 정밀한 제어를 달성함을 입증했습니다. 프로젝트 페이지: https://visual-ai.github.io/inpaint4drag/

English

Drag-based image editing has emerged as a powerful paradigm for intuitive image manipulation. However, existing approaches predominantly rely on manipulating the latent space of generative models, leading to limited precision, delayed feedback, and model-specific constraints. Accordingly, we present Inpaint4Drag, a novel framework that decomposes drag-based editing into pixel-space bidirectional warping and image inpainting. Inspired by elastic object deformation in the physical world, we treat image regions as deformable materials that maintain natural shape under user manipulation. Our method achieves real-time warping previews (0.01s) and efficient inpainting (0.3s) at 512x512 resolution, significantly improving the interaction experience compared to existing methods that require minutes per edit. By transforming drag inputs directly into standard inpainting formats, our approach serves as a universal adapter for any inpainting model without architecture modification, automatically inheriting all future improvements in inpainting technology. Extensive experiments demonstrate that our method achieves superior visual quality and precise control while maintaining real-time performance. Project page: https://visual-ai.github.io/inpaint4drag/