SwapAnything : Permettant l'échange arbitraire d'objets dans l'édition visuelle personnalisée

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

April 8, 2024

Auteurs: Jing Gu, Yilin Wang, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Résumé

L'édition efficace de contenu personnel joue un rôle central en permettant aux individus d'exprimer leur créativité, de tisser des récits captivants dans leurs histoires visuelles, et d'élever la qualité globale et l'impact de leur contenu visuel. Par conséquent, dans ce travail, nous présentons SwapAnything, un nouveau cadre capable de remplacer n'importe quel objet dans une image par des concepts personnalisés fournis par une référence, tout en conservant le contexte inchangé. Par rapport aux méthodes existantes pour le remplacement de sujets personnalisés, SwapAnything présente trois avantages uniques : (1) un contrôle précis d'objets et de parties arbitraires plutôt que du sujet principal, (2) une préservation plus fidèle des pixels du contexte, (3) une meilleure adaptation du concept personnalisé à l'image. Tout d'abord, nous proposons un échange ciblé de variables pour appliquer un contrôle régional sur les cartes de caractéristiques latentes et échanger les variables masquées afin de préserver fidèlement le contexte et d'effectuer un échange initial de concepts sémantiques. Ensuite, nous introduisons l'adaptation d'apparence, pour intégrer de manière fluide le concept sémantique dans l'image originale en termes d'emplacement cible, de forme, de style et de contenu pendant le processus de génération d'image. Les résultats approfondis, tant sur l'évaluation humaine qu'automatique, démontrent des améliorations significatives de notre approche par rapport aux méthodes de référence en matière de remplacement personnalisé. De plus, SwapAnything montre ses capacités d'échange précises et fidèles à travers des tâches d'échange d'un seul objet, de plusieurs objets, de parties d'objet et d'échange inter-domaines. SwapAnything obtient également d'excellentes performances sur l'échange basé sur le texte et sur des tâches allant au-delà de l'échange, comme l'insertion d'objets.

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.