Photoswap: 画像におけるパーソナライズされた被写体の入れ替え

要旨

画像やビジュアルコンテンツがデジタル環境を支配する時代において、これらの画像を操作しパーソナライズする能力は必要不可欠となっています。例えば、写真の中で日差しの差し込む窓辺でくつろぐトラ猫を、あなたの遊び好きな子犬にシームレスに置き換えながら、元の画像の魅力や構図を保つことを想像してみてください。私たちは、既存の画像におけるパーソナライズされた被写体の入れ替えを通じて、この没入型の画像編集体験を可能にする新しいアプローチ「Photoswap」を提案します。Photoswapはまず、参照画像から被写体の視覚的概念を学習し、その後、事前学習済みの拡散モデルを用いて、トレーニング不要な方法でターゲット画像に被写体を入れ替えます。私たちは、適切なセルフアテンションとクロスアテンションの操作により、入れ替えられた被写体のポーズや画像全体の一貫性を保ちながら、よく概念化された視覚的被写体を任意の画像にシームレスに転送できることを実証しました。包括的な実験により、Photoswapのパーソナライズされた被写体入れ替えにおける有効性と制御性が強調されています。さらに、Photoswapは被写体の入れ替え、背景の保存、全体的な品質においてベースライン手法を大幅に上回る人間評価を獲得し、エンターテイメントからプロフェッショナル編集まで、その広範な応用可能性を明らかにしています。

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.

Photoswap: 画像におけるパーソナライズされた被写体の入れ替え

Photoswap: Personalized Subject Swapping in Images

要旨

Support