SwapAnything: Habilitando el Intercambio Arbitrario de Objetos en la Edición Visual Personalizada

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

April 8, 2024

Autores: Jing Gu, Yilin Wang, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Resumen

La edición efectiva de contenido personal desempeña un papel fundamental al permitir que los individuos expresen su creatividad, tejan narrativas cautivadoras dentro de sus historias visuales y eleven la calidad e impacto general de su contenido visual. Por lo tanto, en este trabajo presentamos SwapAnything, un marco novedoso que puede intercambiar cualquier objeto en una imagen con conceptos personalizados proporcionados por una referencia, manteniendo el contexto sin cambios. En comparación con los métodos existentes para el intercambio de sujetos personalizados, SwapAnything tiene tres ventajas únicas: (1) control preciso de objetos y partes arbitrarios en lugar del sujeto principal, (2) preservación más fiel de los píxeles del contexto, (3) mejor adaptación del concepto personalizado a la imagen. Primero, proponemos el intercambio de variables dirigido para aplicar control regional sobre mapas de características latentes e intercambiar variables enmascaradas para una preservación fiel del contexto y un intercambio inicial de conceptos semánticos. Luego, introducimos la adaptación de apariencia, para integrar perfectamente el concepto semántico en la imagen original en términos de ubicación, forma, estilo y contenido del objetivo durante el proceso de generación de imágenes. Resultados extensos en evaluaciones tanto humanas como automáticas demuestran mejoras significativas de nuestro enfoque sobre los métodos de referencia en el intercambio personalizado. Además, SwapAnything muestra sus habilidades precisas y fieles de intercambio en tareas de intercambio de un solo objeto, múltiples objetos, objetos parciales e intercambio entre dominios. SwapAnything también logra un gran rendimiento en el intercambio basado en texto y tareas más allá del intercambio, como la inserción de objetos.

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.