Photoswap: Gepersonaliseerde onderwerpverwisseling in afbeeldingen

Photoswap: Personalized Subject Swapping in Images

May 29, 2023

Auteurs: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Samenvatting

In een tijdperk waarin afbeeldingen en visuele inhoud onze digitale wereld domineren, is de mogelijkheid om deze afbeeldingen te manipuleren en te personaliseren een noodzaak geworden. Stel je voor dat je moeiteloos een gestreepte kat die op een zonnige vensterbank ligt in een foto kunt vervangen door je eigen speelse puppy, terwijl de oorspronkelijke charme en compositie van de afbeelding behouden blijven. Wij presenteren Photoswap, een nieuwe aanpak die deze meeslepende beeldbewerkingservaring mogelijk maakt door gepersonaliseerde onderwerpvervanging in bestaande afbeeldingen. Photoswap leert eerst het visuele concept van het onderwerp uit referentieafbeeldingen en vervangt het vervolgens in de doelafbeelding met behulp van vooraf getrainde diffusiemodellen, zonder aanvullende training. We tonen aan dat een goed geconceptualiseerd visueel onderwerp naadloos kan worden overgebracht naar elke afbeelding door middel van geschikte zelf-attentie en kruis-attentie manipulatie, waarbij de houding van het vervangen onderwerp en de algehele samenhang van de afbeelding behouden blijven. Uitgebreide experimenten onderstrepen de effectiviteit en beheersbaarheid van Photoswap bij gepersonaliseerde onderwerpvervanging. Bovendien presteert Photoswap aanzienlijk beter dan baseline-methoden in menselijke beoordelingen op het gebied van onderwerpvervanging, achtergrondbehoud en algehele kwaliteit, wat zijn brede toepassingspotentieel onthult, van entertainment tot professionele beeldbewerking.

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.