Photoswap: 이미지에서의 개인화된 주체 교체

Photoswap: Personalized Subject Swapping in Images

May 29, 2023

저자: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

초록

이미지와 시각적 콘텐츠가 디지털 환경을 지배하는 시대에서, 이러한 이미지를 조작하고 개인화하는 능력은 필수적이 되었습니다. 햇빛이 비치는 창가에 누워 있는 얼룩고양이를 사진 속에서 당신의 장난스러운 강아지로 원래의 매력과 구도를 유지하며 매끄럽게 대체하는 것을 상상해 보십시오. 우리는 기존 이미지에서 개인화된 주체 교체를 통해 이러한 몰입형 이미지 편집 경험을 가능하게 하는 새로운 접근 방식인 Photoswap을 소개합니다. Photoswap은 먼저 참조 이미지에서 주체의 시각적 개념을 학습한 후, 사전 훈련된 확산 모델을 사용하여 훈련 없이 타겟 이미지에 이를 교체합니다. 우리는 잘 개념화된 시각적 주체가 적절한 자기 주의력(self-attention)과 교차 주의력(cross-attention) 조작을 통해 어떤 이미지에도 매끄럽게 전달될 수 있으며, 교체된 주체의 포즈와 이미지의 전반적인 일관성을 유지할 수 있음을 입증합니다. 포괄적인 실험은 Photoswap의 개인화된 주체 교체에서의 효율성과 제어 가능성을 강조합니다. 더 나아가, Photoswap은 주체 교체, 배경 보존, 전반적인 품질 측면에서 인간 평가에서 기준 방법들을 크게 능가하며, 엔터테인먼트부터 전문 편집에 이르기까지 광범위한 응용 잠재력을 보여줍니다.

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.