GHOST 2.0: генеративный высококачественный одношаговый перенос изображений голов

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

Авторы: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Аннотация

Хотя задача замены лиц недавно привлекла внимание исследовательского сообщества, связанная проблема замены головы остается в значительной степени неисследованной. Помимо передачи цвета кожи, замена головы ставит дополнительные задачи, такие как необходимость сохранения структурной информации всей головы в процессе синтеза и заполнение пробелов между замененной головой и фоном. В данной работе мы решаем эти проблемы с помощью GHOST 2.0, который состоит из двух специализированных модулей. Во-первых, мы представляем улучшенную модель Aligner для воссоздания головы, которая сохраняет информацию о личности на нескольких масштабах и устойчива к экстремальным изменениям позы. Во-вторых, мы используем модуль Blender, который бесшовно интегрирует воссозданную голову в целевой фон, передавая цвет кожи и заполняя несоответствующие области. Оба модуля превосходят базовые подходы в соответствующих задачах, что позволяет достичь передовых результатов в замене головы. Мы также рассматриваем сложные случаи, такие как значительная разница в прическах исходного и целевого изображений. Код доступен по адресу: https://github.com/ai-forever/ghost-2.0.

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0