FlexEdit: 객체 중심의 유연하고 제어 가능한 확산 기반 이미지 편집

FlexEdit: Flexible and Controllable Diffusion-based Object-centric Image Editing

March 27, 2024

저자: Trong-Tung Nguyen, Duc-Anh Nguyen, Anh Tran, Cuong Pham

cs.AI

초록

우리의 연구는 객체 중심 편집 문제에서 기존 접근법들이 보여준 한계점, 예를 들어 형태 불일치로 인한 비현실적인 결과와 객체 교체 또는 삽입에서의 제한된 제어력을 해결합니다. 이를 위해 우리는 FlexEdit을 소개합니다. FlexEdit은 객체에 대한 유연하고 제어 가능한 편집 프레임워크로, 각 디노이징 단계에서 FlexEdit 블록을 사용하여 잠재 변수를 반복적으로 조정합니다. 먼저, 테스트 시점에 지정된 객체 제약 조건과 일치하도록 잠재 변수를 최적화합니다. 그런 다음, 우리의 프레임워크는 디노이징 과정에서 자동으로 추출된 적응형 마스크를 사용하여 배경을 보호하면서 새로운 콘텐츠를 대상 이미지에 자연스럽게 혼합합니다. 우리는 다양한 객체 편집 작업에서 FlexEdit의 다용성을 입증하고, 실제 및 합성 이미지 샘플로 구성된 평가 테스트 스위트와 객체 중심 편집을 위해 설계된 새로운 평가 지표를 제시합니다. 다양한 편집 시나리오에 대한 광범위한 실험을 수행하여, 우리의 편집 프레임워크가 최근의 고급 텍스트 기반 이미지 편집 방법들을 능가함을 보여줍니다. 우리의 프로젝트 페이지는 https://flex-edit.github.io/에서 확인할 수 있습니다.

English

Our work addresses limitations seen in previous approaches for object-centric editing problems, such as unrealistic results due to shape discrepancies and limited control in object replacement or insertion. To this end, we introduce FlexEdit, a flexible and controllable editing framework for objects where we iteratively adjust latents at each denoising step using our FlexEdit block. Initially, we optimize latents at test time to align with specified object constraints. Then, our framework employs an adaptive mask, automatically extracted during denoising, to protect the background while seamlessly blending new content into the target image. We demonstrate the versatility of FlexEdit in various object editing tasks and curate an evaluation test suite with samples from both real and synthetic images, along with novel evaluation metrics designed for object-centric editing. We conduct extensive experiments on different editing scenarios, demonstrating the superiority of our editing framework over recent advanced text-guided image editing methods. Our project page is published at https://flex-edit.github.io/.