Photoswap: Персонализированная замена объектов на изображениях

Photoswap: Personalized Subject Swapping in Images

May 29, 2023

Авторы: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Аннотация

В эпоху, когда изображения и визуальный контент доминируют в цифровом пространстве, способность манипулировать и персонализировать эти изображения стала необходимостью. Представьте, что вы можете легко заменить полосатого кота, лежащего на подоконнике в солнечном свете, на вашего игривого щенка, сохраняя при этом оригинальное очарование и композицию фотографии. Мы представляем Photoswap — новый подход, который позволяет реализовать этот захватывающий опыт редактирования изображений через персонализированную замену объектов в существующих изображениях. Photoswap сначала изучает визуальную концепцию объекта из референсных изображений, а затем заменяет его в целевом изображении с использованием предварительно обученных диффузионных моделей без необходимости дополнительного обучения. Мы показываем, что хорошо концептуализированный визуальный объект может быть бесшовно перенесен в любое изображение с помощью соответствующей манипуляции самовниманием и кросс-вниманием, сохраняя позу заменяемого объекта и общую согласованность изображения. Комплексные эксперименты подчеркивают эффективность и управляемость Photoswap в персонализированной замене объектов. Более того, Photoswap значительно превосходит базовые методы по оценкам людей в таких аспектах, как замена объектов, сохранение фона и общее качество, демонстрируя его огромный потенциал для применения — от развлечений до профессионального редактирования.

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.