GHOST 2.0: 고해상도 원샷 헤드 생성 전이

GHOST 2.0: generative high-fidelity one shot transfer of heads

February 25, 2025

저자: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov

cs.AI

초록

. 얼굴 바꾸기 작업이 최근 연구 커뮤니티에서 주목을 받고 있지만, 머리 바꾸기라는 관련 문제는 여전히 크게 탐구되지 않고 있습니다. 피부색 전달 외에도, 머리 바꾸기는 합성 과정에서 전체 머리의 구조적 정보를 보존하고, 바뀐 머리와 배경 사이의 간극을 채워야 하는 등의 추가적인 과제를 안고 있습니다. 본 논문에서는 이러한 문제를 GHOST 2.0으로 해결합니다. GHOST 2.0은 두 가지 문제 특화 모듈로 구성됩니다. 첫째, 다양한 스케일에서 신원 정보를 보존하고 극단적인 자세 변화에도 강건한 향상된 얼라이너 모델을 소개합니다. 둘째, 피부색을 전달하고 불일치 영역을 채워 재현된 머리를 대상 배경에 자연스럽게 통합하는 블렌더 모듈을 사용합니다. 두 모듈 모두 해당 작업에서 기준선을 능가하며, 머리 바꾸기 분야에서 최첨단 결과를 달성할 수 있게 합니다. 또한 소스와 타겟의 헤어스타일이 크게 다른 복잡한 사례도 해결합니다. 코드는 https://github.com/ai-forever/ghost-2.0에서 확인할 수 있습니다.

English

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target. Code is available at https://github.com/ai-forever/ghost-2.0