SwapAnything: Permitindo a Troca Arbitrária de Objetos na Edição Visual Personalizada

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

April 8, 2024

Autores: Jing Gu, Yilin Wang, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Resumo

A edição eficaz de conteúdo pessoal desempenha um papel fundamental ao permitir que os indivíduos expressem sua criatividade, tecendo narrativas cativantes em suas histórias visuais e elevando a qualidade e o impacto geral de seu conteúdo visual. Portanto, neste trabalho, apresentamos o SwapAnything, uma nova estrutura que pode substituir qualquer objeto em uma imagem por conceitos personalizados fornecidos por referência, mantendo o contexto inalterado. Em comparação com os métodos existentes para substituição personalizada de objetos, o SwapAnything possui três vantagens únicas: (1) controle preciso de objetos e partes arbitrários, em vez do objeto principal, (2) preservação mais fiel dos pixels de contexto, (3) melhor adaptação do conceito personalizado à imagem. Primeiro, propomos a substituição variável direcionada para aplicar controle de região sobre mapas de características latentes e substituir variáveis mascaradas para preservação fiel do contexto e substituição inicial do conceito semântico. Em seguida, introduzimos a adaptação de aparência, para integrar perfeitamente o conceito semântico na imagem original em termos de localização, forma, estilo e conteúdo do alvo durante o processo de geração de imagem. Resultados extensivos em avaliações humanas e automáticas demonstram melhorias significativas de nossa abordagem em relação aos métodos de base na substituição personalizada. Além disso, o SwapAnything mostra suas habilidades precisas e fiéis de substituição em tarefas de substituição de objeto único, múltiplos objetos, objeto parcial e substituição entre domínios. O SwapAnything também alcança um ótimo desempenho em substituição baseada em texto e tarefas além da substituição, como inserção de objetos.

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.