StableDrag: 포인트 기반 이미지 편집을 위한 안정적인 드래깅

초록

DragGAN의 등장 이후, 포인트 기반 이미지 편집은 주목할 만한 관심을 끌어왔습니다. 최근 DragDiffusion은 이 드래깅 기술을 확산 모델에 적용함으로써 생성 품질을 더욱 발전시켰습니다. 이러한 큰 성과에도 불구하고, 이 드래깅 방식은 부정확한 포인트 추적과 불완전한 모션 감독이라는 두 가지 주요 단점을 보이며, 이는 만족스럽지 못한 드래깅 결과를 초래할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 안정적이고 정밀한 드래깅 기반 편집 프레임워크인 StableDrag를 구축했습니다. 이를 위해 판별적 포인트 추적 방법과 신뢰도 기반 잠재 향상 전략을 모션 감독에 적용했습니다. 전자는 업데이트된 핸들 포인트를 정확히 찾아내어 장거리 조작의 안정성을 높이는 반면, 후자는 모든 조작 단계에서 최적화된 잠재 공간이 가능한 한 고품질을 유지하도록 보장합니다. 이러한 독창적인 설계 덕분에, 우리는 StableDrag-GAN과 StableDrag-Diff 두 가지 유형의 이미지 편집 모델을 구현했으며, DragBench에서의 광범위한 정성적 실험과 정량적 평가를 통해 더 안정적인 드래깅 성능을 달성했습니다.

English

Point-based image editing has attracted remarkable attention since the emergence of DragGAN. Recently, DragDiffusion further pushes forward the generative quality via adapting this dragging technique to diffusion models. Despite these great success, this dragging scheme exhibits two major drawbacks, namely inaccurate point tracking and incomplete motion supervision, which may result in unsatisfactory dragging outcomes. To tackle these issues, we build a stable and precise drag-based editing framework, coined as StableDrag, by designing a discirminative point tracking method and a confidence-based latent enhancement strategy for motion supervision. The former allows us to precisely locate the updated handle points, thereby boosting the stability of long-range manipulation, while the latter is responsible for guaranteeing the optimized latent as high-quality as possible across all the manipulation steps. Thanks to these unique designs, we instantiate two types of image editing models including StableDrag-GAN and StableDrag-Diff, which attains more stable dragging performance, through extensive qualitative experiments and quantitative assessment on DragBench.

StableDrag: 포인트 기반 이미지 편집을 위한 안정적인 드래깅

StableDrag: Stable Dragging for Point-based Image Editing

초록

Support