GHOST 2.0: trasferimento generativo ad alta fedeltà di volti in un singolo scatto

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

Autori: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Abstract

Mentre il compito dello scambio di volti ha recentemente attirato l'attenzione nella comunità di ricerca, un problema correlato, quello dello scambio di teste, rimane in gran parte inesplorato. Oltre al trasferimento del colore della pelle, lo scambio di teste presenta ulteriori sfide, come la necessità di preservare le informazioni strutturali dell'intera testa durante la sintesi e di ricostruire le lacune tra la testa scambiata e lo sfondo. In questo articolo, affrontiamo questi problemi con GHOST 2.0, che consiste in due moduli specifici per il problema. In primo luogo, introduciamo un modello Aligner potenziato per la rianimazione della testa, che preserva le informazioni sull'identità a più scale ed è robusto alle variazioni estreme della posa. In secondo luogo, utilizziamo un modulo Blender che integra perfettamente la testa rianimata nello sfondo target trasferendo il colore della pelle e ricostruendo le regioni non corrispondenti. Entrambi i moduli superano i benchmark nei rispettivi compiti, consentendo di ottenere risultati all'avanguardia nello scambio di teste. Affrontiamo anche casi complessi, come una grande differenza nello stile dei capelli tra la sorgente e il target. Il codice è disponibile all'indirizzo https://github.com/ai-forever/ghost-2.0.

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0