GHOST 2.0: Generative High-Fidelity One-Shot Transfer von Köpfen

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

Autoren: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Zusammenfassung

Während die Aufgabe des Gesichtstauschs in der Forschungswelt kürzlich Aufmerksamkeit erregt hat, bleibt das verwandte Problem des Kopfstauschs weitgehend unerforscht. Neben der Übertragung der Hautfarbe stellt der Kopftausch zusätzliche Herausforderungen dar, wie die Notwendigkeit, strukturelle Informationen des gesamten Kopfes während der Synthese zu bewahren und Lücken zwischen dem ausgetauschten Kopf und dem Hintergrund zu füllen. In diesem Artikel gehen wir auf diese Probleme mit GHOST 2.0 ein, das aus zwei aufgabenspezifischen Modulen besteht. Zunächst stellen wir ein verbessertes Aligner-Modell für die Kopf-Nachstellung vor, das Identitätsinformationen auf mehreren Ebenen bewahrt und robust gegenüber extremen Pose-Variationen ist. Zweitens verwenden wir ein Blender-Modul, das den nachgestellten Kopf nahtlos in den Zielhintergrund integriert, indem es die Hautfarbe überträgt und nicht übereinstimmende Regionen ausfüllt. Beide Module übertreffen die Baselines bei den entsprechenden Aufgaben, was es ermöglicht, state-of-the-art Ergebnisse im Kopftausch zu erzielen. Wir behandeln auch komplexe Fälle, wie große Unterschiede in den Frisuren von Quelle und Ziel. Der Code ist verfügbar unter https://github.com/ai-forever/ghost-2.0.

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0