SwapAnything: Mogelijk maken van willekeurige objectwisselingen in gepersonaliseerde visuele bewerking

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

April 8, 2024

Auteurs: Jing Gu, Yilin Wang, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Samenvatting

Effectief bewerken van persoonlijke content speelt een cruciale rol bij het mogelijk maken voor individuen om hun creativiteit te uiten, boeiende verhalen te weven binnen hun visuele verhalen, en de algehele kwaliteit en impact van hun visuele content te verhogen. Daarom introduceren we in dit werk SwapAnything, een nieuw framework dat elk object in een afbeelding kan verwisselen met gepersonaliseerde concepten die door een referentie worden gegeven, terwijl de context ongewijzigd blijft. In vergelijking met bestaande methoden voor gepersonaliseerde onderwerpverwisseling, heeft SwapAnything drie unieke voordelen: (1) precieze controle over willekeurige objecten en delen in plaats van het hoofdonderwerp, (2) een getrouwere bewaring van contextpixels, (3) een betere aanpassing van het gepersonaliseerde concept aan de afbeelding. Eerst stellen we gerichte variabele verwisseling voor om regiocontrole toe te passen op latente kenmerkkaarten en gemaskeerde variabelen te verwisselen voor getrouwe contextbewaring en initiële semantische conceptverwisseling. Vervolgens introduceren we uiterlijke aanpassing, om het semantische concept naadloos aan te passen aan de originele afbeelding wat betreft doelpositie, vorm, stijl en inhoud tijdens het beeldgeneratieproces. Uitgebreide resultaten van zowel menselijke als automatische evaluatie tonen significante verbeteringen van onze aanpak ten opzichte van baseline-methoden bij gepersonaliseerde verwisseling. Bovendien toont SwapAnything zijn precieze en getrouwe verwisselingsvaardigheden bij taken met één object, meerdere objecten, gedeeltelijke objecten en cross-domein verwisseling. SwapAnything presteert ook uitstekend bij tekstgebaseerde verwisseling en taken buiten verwisseling, zoals objectinvoeging.

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.