Photoswap: Troca Personalizada de Objetos em Imagens
Photoswap: Personalized Subject Swapping in Images
May 29, 2023
Autores: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang
cs.AI
Resumo
Em uma era onde imagens e conteúdo visual dominam nossa paisagem digital, a
capacidade de manipular e personalizar essas imagens tornou-se uma necessidade.
Imagine substituir perfeitamente um gato malhado descansando em um parapeito
ensolarado em uma fotografia pelo seu próprio filhote brincalhão, mantendo o
charme e a composição originais da imagem. Apresentamos o Photoswap, uma
abordagem inovadora que possibilita essa experiência imersiva de edição de
imagens por meio da troca personalizada de objetos em imagens existentes. O
Photoswap primeiro aprende o conceito visual do objeto a partir de imagens de
referência e, em seguida, o insere na imagem alvo utilizando modelos de difusão
pré-treinados, sem necessidade de treinamento adicional. Demonstramos que um
objeto visual bem conceituado pode ser transferido perfeitamente para qualquer
imagem com a manipulação adequada de auto-atenção e atenção cruzada,
preservando a pose do objeto trocado e a coerência geral da imagem. Experimentos
abrangentes destacam a eficácia e a controlabilidade do Photoswap na troca
personalizada de objetos. Além disso, o Photoswap supera significativamente
métodos de referência em avaliações humanas em termos de troca de objetos,
preservação do fundo e qualidade geral, revelando seu vasto potencial de
aplicação, desde entretenimento até edição profissional.
English
In an era where images and visual content dominate our digital landscape, the
ability to manipulate and personalize these images has become a necessity.
Envision seamlessly substituting a tabby cat lounging on a sunlit window sill
in a photograph with your own playful puppy, all while preserving the original
charm and composition of the image. We present Photoswap, a novel approach that
enables this immersive image editing experience through personalized subject
swapping in existing images. Photoswap first learns the visual concept of the
subject from reference images and then swaps it into the target image using
pre-trained diffusion models in a training-free manner. We establish that a
well-conceptualized visual subject can be seamlessly transferred to any image
with appropriate self-attention and cross-attention manipulation, maintaining
the pose of the swapped subject and the overall coherence of the image.
Comprehensive experiments underscore the efficacy and controllability of
Photoswap in personalized subject swapping. Furthermore, Photoswap
significantly outperforms baseline methods in human ratings across subject
swapping, background preservation, and overall quality, revealing its vast
application potential, from entertainment to professional editing.