Photoswap : Échange personnalisé de sujets dans les images

Photoswap: Personalized Subject Swapping in Images

May 29, 2023

Auteurs: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Résumé

Dans une ère où les images et les contenus visuels dominent notre paysage numérique, la capacité à manipuler et personnaliser ces images est devenue une nécessité. Imaginez remplacer sans effort un chat tigré se prélassant sur un rebord de fenêtre ensoleillé dans une photographie par votre propre chiot joueur, tout en préservant le charme et la composition originels de l'image. Nous présentons Photoswap, une approche novatrice qui permet cette expérience immersive d'édition d'images grâce à l'échange personnalisé de sujets dans des images existantes. Photoswap apprend d'abord le concept visuel du sujet à partir d'images de référence, puis l'intègre dans l'image cible en utilisant des modèles de diffusion pré-entraînés de manière sans apprentissage. Nous démontrons qu'un sujet visuel bien conceptualisé peut être transféré de manière transparente dans n'importe quelle image grâce à une manipulation appropriée de l'auto-attention et de l'attention croisée, en maintenant la pose du sujet échangé et la cohérence globale de l'image. Des expériences approfondies soulignent l'efficacité et la contrôlabilité de Photoswap dans l'échange personnalisé de sujets. De plus, Photoswap surpasse significativement les méthodes de référence dans les évaluations humaines en termes d'échange de sujets, de préservation de l'arrière-plan et de qualité globale, révélant son vaste potentiel d'application, du divertissement à l'édition professionnelle.

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.