Photoswap: Scambio Personalizzato di Soggetti nelle Immagini

Photoswap: Personalized Subject Swapping in Images

May 29, 2023

Autori: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Abstract

In un'epoca in cui le immagini e i contenuti visivi dominano il nostro panorama digitale, la capacità di manipolare e personalizzare queste immagini è diventata una necessità. Immagina di sostituire senza soluzione di continuità un gatto soriano che si rilassa su un davanzale soleggiato in una fotografia con il tuo cucciolo giocherellone, preservando il fascino originale e la composizione dell'immagine. Presentiamo Photoswap, un approccio innovativo che consente questa esperienza di editing immersivo attraverso lo scambio personalizzato di soggetti in immagini esistenti. Photoswap apprende prima il concetto visivo del soggetto da immagini di riferimento e poi lo scambia nell'immagine target utilizzando modelli di diffusione pre-addestrati in modo privo di training. Dimostriamo che un soggetto visivo ben concettualizzato può essere trasferito senza soluzione di continuità in qualsiasi immagine con un'appropriata manipolazione dell'auto-attenzione e dell'attenzione incrociata, mantenendo la posa del soggetto scambiato e la coerenza complessiva dell'immagine. Esperimenti completi sottolineano l'efficacia e la controllabilità di Photoswap nello scambio personalizzato di soggetti. Inoltre, Photoswap supera significativamente i metodi di base nelle valutazioni umane in termini di scambio di soggetti, conservazione dello sfondo e qualità complessiva, rivelando il suo vasto potenziale applicativo, dall'intrattenimento all'editing professionale.

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.