Photoswap: Personalisierter Subjektaustausch in Bildern

Photoswap: Personalized Subject Swapping in Images

May 29, 2023

Autoren: Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Zusammenfassung

In einer Ära, in der Bilder und visuelle Inhalte unsere digitale Landschaft dominieren, ist die Fähigkeit, diese Bilder zu manipulieren und zu personalisieren, zu einer Notwendigkeit geworden. Stellen Sie sich vor, Sie könnten mühelos eine getigerte Katze, die auf einer sonnenbeschienenen Fensterbank ruht, in einem Foto durch Ihren eigenen verspielten Welpen ersetzen, während der ursprüngliche Charme und die Komposition des Bildes erhalten bleiben. Wir präsentieren Photoswap, einen neuartigen Ansatz, der dieses immersive Bildbearbeitungserlebnis durch personalisierten Subjektaustausch in bestehenden Bildern ermöglicht. Photoswap lernt zunächst das visuelle Konzept des Subjekts aus Referenzbildern und tauscht es dann mithilfe vortrainierter Diffusionsmodelle auf trainingsfreie Weise in das Zielbild ein. Wir zeigen, dass ein gut konzipiertes visuelles Subjekt nahtlos in jedes Bild übertragen werden kann, indem die Selbstaufmerksamkeit und die Kreuzaufmerksamkeit entsprechend manipuliert werden, wodurch die Pose des ausgetauschten Subjekts und die Gesamtkohärenz des Bildes erhalten bleiben. Umfassende Experimente unterstreichen die Wirksamkeit und Steuerbarkeit von Photoswap beim personalisierten Subjektaustausch. Darüber hinaus übertrifft Photoswap Baseline-Methoden in menschlichen Bewertungen deutlich in den Bereichen Subjektaustausch, Hintergrunderhaltung und Gesamtqualität, was sein enormes Anwendungspotenzial von der Unterhaltung bis zur professionellen Bearbeitung offenbart.

English

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.