SwapAnything: パーソナライズドビジュアル編集における任意のオブジェクト交換を可能にする

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

April 8, 2024

著者: Jing Gu, Yilin Wang, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

要旨

個人コンテンツの効果的な編集は、個人が創造性を発揮し、視覚的ストーリーの中に魅力的な物語を織り込み、視覚コンテンツの全体的な品質と影響力を高める上で重要な役割を果たします。そこで本論文では、SwapAnythingという新しいフレームワークを紹介します。このフレームワークは、参照によって与えられたパーソナライズされた概念で画像内の任意のオブジェクトを交換しつつ、コンテキストを変更せずに維持することができます。既存のパーソナライズされた対象交換手法と比較して、SwapAnythingには3つの独自の利点があります：(1) 主な対象ではなく、任意のオブジェクトや部分の正確な制御、(2) コンテキストピクセルのより忠実な保存、(3) パーソナライズされた概念の画像へのより良い適応。まず、ターゲット変数交換を提案し、潜在特徴マップに領域制御を適用し、マスクされた変数を交換することで、忠実なコンテキスト保存と初期の意味概念交換を実現します。次に、外観適応を導入し、画像生成プロセス中にターゲットの位置、形状、スタイル、コンテンツの観点から、意味概念を元の画像にシームレスに適応させます。人間による評価と自動評価の両方における広範な結果は、パーソナライズされた交換において、本手法がベースライン手法を大幅に改善することを示しています。さらに、SwapAnythingは、単一オブジェクト、複数オブジェクト、部分オブジェクト、およびクロスドメイン交換タスクにおいて、その正確で忠実な交換能力を示しています。SwapAnythingは、テキストベースの交換や、オブジェクト挿入などの交換以外のタスクにおいても優れた性能を達成しています。

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.