Photoswap: Intercambio Personalizado de Sujetos en Imágenes

Photoswap: Personalized Subject Swapping in Images

May 29, 2023

Autores: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Resumen

En una era donde las imágenes y el contenido visual dominan nuestro panorama digital, la capacidad de manipular y personalizar estas imágenes se ha convertido en una necesidad. Imagina sustituir sin esfuerzo un gato atigrado recostado en el alféizar de una ventana bañada por el sol en una fotografía con tu propio cachorro juguetón, todo mientras se preserva el encanto y la composición original de la imagen. Presentamos Photoswap, un enfoque novedoso que permite esta experiencia inmersiva de edición de imágenes mediante el intercambio personalizado de sujetos en imágenes existentes. Photoswap primero aprende el concepto visual del sujeto a partir de imágenes de referencia y luego lo intercambia en la imagen objetivo utilizando modelos de difusión preentrenados de manera libre de entrenamiento. Demostramos que un sujeto visual bien conceptualizado puede transferirse sin problemas a cualquier imagen mediante una manipulación adecuada de la autoatención y la atención cruzada, manteniendo la pose del sujeto intercambiado y la coherencia general de la imagen. Experimentos exhaustivos subrayan la eficacia y controlabilidad de Photoswap en el intercambio personalizado de sujetos. Además, Photoswap supera significativamente a los métodos de referencia en las evaluaciones humanas en cuanto a intercambio de sujetos, preservación del fondo y calidad general, revelando su vasto potencial de aplicación, desde el entretenimiento hasta la edición profesional.

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.