GHOST 2.0: 高忠実度ワンショットヘッド転送の生成モデル

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

著者: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

要旨

. 顔の入れ替えタスクが最近研究コミュニティで注目を集める中、関連する問題である頭部の入れ替えはほとんど未開拓のままである。肌の色の転送に加えて、頭部の入れ替えは、合成中に頭部全体の構造情報を保持する必要性や、入れ替えた頭部と背景の間の隙間を修復する必要性など、さらなる課題を提起する。本論文では、これらの懸念に対処するために、2つの問題特化型モジュールからなるGHOST 2.0を提案する。まず、複数のスケールで同一性情報を保持し、極端なポーズの変化に対して頑健な、強化されたAlignerモデルを導入する。次に、Blenderモジュールを使用して、肌の色を転送し、不一致の領域を修復することで、再現された頭部をターゲットの背景にシームレスに統合する。両モジュールは、対応するタスクにおいてベースラインを上回り、頭部の入れ替えにおいて最先端の結果を達成することを可能にする。また、ソースとターゲットの髪型の大きな違いなどの複雑なケースにも取り組む。コードはhttps://github.com/ai-forever/ghost-2.0で公開されている。

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0