GHOST 2.0: transferência generativa de alta fidelidade de cabeças em um único disparo

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

Autores: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Resumo

Embora a tarefa de troca de rostos tenha recentemente ganhado atenção na comunidade de pesquisa, um problema relacionado de troca de cabeças permanece amplamente inexplorado. Além da transferência de cor de pele, a troca de cabeças apresenta desafios adicionais, como a necessidade de preservar informações estruturais de toda a cabeça durante a síntese e preencher lacunas entre a cabeça trocada e o fundo. Neste artigo, abordamos essas preocupações com o GHOST 2.0, que consiste em dois módulos específicos para o problema. Primeiramente, introduzimos o modelo Aligner aprimorado para reencenação de cabeças, que preserva informações de identidade em múltiplas escalas e é robusto a variações extremas de pose. Em segundo lugar, utilizamos um módulo Blender que integra perfeitamente a cabeça reencenada no fundo alvo, transferindo a cor da pele e preenchendo regiões incompatíveis. Ambos os módulos superam as bases nas tarefas correspondentes, permitindo alcançar resultados de ponta na troca de cabeças. Também lidamos com casos complexos, como grandes diferenças nos estilos de cabelo da origem e do alvo. O código está disponível em https://github.com/ai-forever/ghost-2.0

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0