GHOST 2.0: generatieve overdracht van hoofden met hoge getrouwheid in één keer

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

Auteurs: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Samenvatting

Hoewel het vervangen van gezichten recentelijk aandacht heeft gekregen in de onderzoeksgemeenschap, blijft een gerelateerd probleem van het verwisselen van hoofden grotendeels onontgonnen. Naast het overdragen van huidskleur, brengt het verwisselen van hoofden extra uitdagingen met zich mee, zoals de noodzaak om structurele informatie van het hele hoofd te behouden tijdens synthese en het opvullen van lacunes tussen het verwisselde hoofd en de achtergrond. In dit artikel behandelen we deze zorgen met GHOST 2.0, dat bestaat uit twee probleemspecifieke modules. Ten eerste introduceren we het verbeterde Aligner-model voor het opnieuw uitvoeren van hoofden, dat identiteitsinformatie op meerdere schalen behoudt en robuust is tegen extreme posevariaties. Ten tweede gebruiken we een Blender-module die het opnieuw uitgevoerde hoofd naadloos integreert in de doelachtergrond door huidskleur over te dragen en niet-overeenkomende regio's op te vullen. Beide modules presteren beter dan de baselines op de overeenkomstige taken, waardoor het mogelijk is om state-of-the-art resultaten te behalen bij het verwisselen van hoofden. We pakken ook complexe gevallen aan, zoals grote verschillen in haarstijlen van bron en doel. De code is beschikbaar op https://github.com/ai-forever/ghost-2.0

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0