GHOST 2.0 : transfert génératif haute fidélité en une seule étape de têtes

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

Auteurs: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Résumé

Alors que la tâche d'échange de visages a récemment attiré l'attention de la communauté de recherche, un problème connexe, celui de l'échange de têtes, reste largement inexploré. En plus du transfert de couleur de peau, l'échange de têtes pose des défis supplémentaires, tels que la nécessité de préserver les informations structurelles de l'ensemble de la tête lors de la synthèse et de combler les lacunes entre la tête échangée et l'arrière-plan. Dans cet article, nous abordons ces préoccupations avec GHOST 2.0, qui se compose de deux modules spécifiques au problème. Tout d'abord, nous introduisons un modèle Aligner amélioré pour la réanimation de la tête, qui préserve les informations d'identité à plusieurs échelles et est robuste aux variations extrêmes de pose. Ensuite, nous utilisons un module Blender qui intègre de manière transparente la tête réanimée dans l'arrière-plan cible en transférant la couleur de peau et en comblant les régions mal assorties. Les deux modules surpassent les références dans les tâches correspondantes, permettant d'obtenir des résultats de pointe dans l'échange de têtes. Nous abordons également des cas complexes, tels que de grandes différences dans les styles de cheveux entre la source et la cible. Le code est disponible à l'adresse suivante : https://github.com/ai-forever/ghost-2.0

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0