SwapAnything: Ermöglichen des beliebigen Austauschs von Objekten in der personalisierten visuellen Bearbeitung

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

April 8, 2024

Autoren: Jing Gu, Yilin Wang, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Zusammenfassung

Die effektive Bearbeitung persönlicher Inhalte spielt eine entscheidende Rolle dabei, Einzelpersonen zu ermöglichen, ihre Kreativität auszudrücken, fesselnde Erzählungen in ihren visuellen Geschichten zu weben und die Gesamtqualität und Wirkung ihrer visuellen Inhalte zu steigern. Daher stellen wir in dieser Arbeit SwapAnything vor, ein neuartiges Framework, das beliebige Objekte in einem Bild durch personalisierte Konzepte aus dem Referenzmaterial austauschen kann, während der Kontext unverändert bleibt. Im Vergleich zu bestehenden Methoden für den personalisierten Objektaustausch weist SwapAnything drei einzigartige Vorteile auf: (1) präzise Steuerung beliebiger Objekte und Teile anstelle des Hauptmotivs, (2) treuere Erhaltung von Kontextpixeln, (3) bessere Anpassung des personalisierten Konzepts an das Bild. Zunächst schlagen wir gezielten Variablentausch vor, um eine regionale Steuerung über latente Merkmalskarten anzuwenden und maskierte Variablen für die treue Erhaltung des Kontexts und den anfänglichen semantischen Konzepttausch auszutauschen. Anschließend führen wir die Erscheinungsanpassung ein, um das semantische Konzept nahtlos in das Originalbild in Bezug auf Zielort, Form, Stil und Inhalt während des Bildgenerierungsprozesses anzupassen. Umfangreiche Ergebnisse sowohl bei der menschlichen als auch bei der automatischen Bewertung zeigen signifikante Verbesserungen unseres Ansatzes gegenüber Basislinienmethoden beim personalisierten Austausch. Darüber hinaus zeigt SwapAnything seine präzisen und treuen Austauschfähigkeiten bei Aufgaben zum Austausch einzelner Objekte, mehrerer Objekte, teilweiser Objekte und domänenübergreifender Austauschaufgaben. SwapAnything erzielt auch eine hervorragende Leistung beim textbasierten Austausch und bei Aufgaben jenseits des Austauschs wie dem Einfügen von Objekten.

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.