SwapAnything: Abilitazione dello Scambio Arbitrario di Oggetti nell'Editing Visivo Personalizzato

Abstract

L'editing efficace di contenuti personali svolge un ruolo fondamentale nel consentire agli individui di esprimere la propria creatività, intrecciando narrazioni avvincenti all'interno delle loro storie visive e migliorando la qualità complessiva e l'impatto dei loro contenuti visivi. Pertanto, in questo lavoro, presentiamo SwapAnything, un nuovo framework in grado di sostituire qualsiasi oggetto in un'immagine con concetti personalizzati forniti come riferimento, mantenendo invariato il contesto. Rispetto ai metodi esistenti per la sostituzione personalizzata di soggetti, SwapAnything offre tre vantaggi unici: (1) controllo preciso di oggetti e parti arbitrarie anziché del soggetto principale, (2) conservazione più fedele dei pixel del contesto, (3) migliore adattamento del concetto personalizzato all'immagine. In primo luogo, proponiamo lo scambio variabile mirato per applicare il controllo regionale sulle mappe di feature latenti e scambiare variabili mascherate per una conservazione fedele del contesto e uno scambio iniziale del concetto semantico. Successivamente, introduciamo l'adattamento dell'aspetto, per integrare in modo fluido il concetto semantico nell'immagine originale in termini di posizione, forma, stile e contenuto durante il processo di generazione dell'immagine. Risultati estesi su valutazioni sia umane che automatiche dimostrano miglioramenti significativi del nostro approccio rispetto ai metodi di base per lo scambio personalizzato. Inoltre, SwapAnything mostra le sue capacità di scambio precise e fedeli in compiti di scambio di singoli oggetti, oggetti multipli, parti di oggetti e scambio cross-dominio. SwapAnything ottiene anche ottime prestazioni nello scambio basato su testo e in compiti oltre lo scambio, come l'inserimento di oggetti.

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.

SwapAnything: Abilitazione dello Scambio Arbitrario di Oggetti nell'Editing Visivo Personalizzato

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

Abstract

Support