SwapAnything: Возможность произвольного обмена объектами в персонализированном визуальном редактировании.

SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

April 8, 2024

Авторы: Jing Gu, Yilin Wang, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Xin Eric Wang

cs.AI

Аннотация

Эффективное редактирование персонального контента играет ключевую роль в обеспечении возможности индивидуумам выражать свою креативность, создавая увлекательные повествования в рамках их визуальных историй и повышая общее качество и воздействие их визуального контента. Поэтому в данной работе мы представляем SwapAnything, новую концепцию, которая может заменять любые объекты на изображении на персонализированные концепции, предоставленные в качестве ссылки, сохраняя при этом контекст неизменным. По сравнению с существующими методами персонализированного замещения объектов, SwapAnything обладает тремя уникальными преимуществами: (1) точное управление произвольными объектами и их частями, а не основным объектом, (2) более точное сохранение контекстных пикселей, (3) лучшая адаптация персонализированной концепции к изображению. Вначале мы предлагаем целевое переменное замещение для применения контроля области над латентными картами признаков и замены маскированных переменных для точного сохранения контекста и начального семантического замещения концепции. Затем мы вводим адаптацию внешнего вида, чтобы плавно адаптировать семантическую концепцию в оригинальное изображение в терминах целевого местоположения, формы, стиля и содержания во время процесса генерации изображения. Обширные результаты как человеческой, так и автоматической оценки демонстрируют значительные улучшения нашего подхода по сравнению с базовыми методами персонализированного замещения. Кроме того, SwapAnything проявляет свои точные и верные способности к замещению в рамках задач замещения одного объекта, нескольких объектов, частичного объекта и кросс-доменных задач замещения. SwapAnything также достигает отличных результатов в задачах замещения на основе текста и задачах, выходящих за рамки замещения, таких как вставка объектов.

English

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.