TCAN: 확산 모델을 활용한 시간적 일관성을 갖춘 포즈 지도 기반 인간 이미지 애니메이션

TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models

July 12, 2024

저자: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo

cs.AI

초록

포즈 기반 인간 이미지 애니메이션 확산 모델은 현실적인 인간 비디오 합성에서 뛰어난 능력을 보여주고 있습니다. 이전 접근법들이 유망한 결과를 달성했음에도 불구하고, 시간적으로 일관된 애니메이션을 달성하고 기성 포즈 탐지기의 견고성을 보장하는 데에는 여전히 과제가 남아 있습니다. 본 논문에서는 오류가 있는 포즈에 대해 견고하며 시간적으로 일관된 포즈 기반 인간 이미지 애니메이션 방법인 TCAN을 제안합니다. 이전 방법들과 달리, 우리는 미세 조정 없이 사전 학습된 ControlNet을 활용하여 수많은 포즈-이미지-캡션 쌍으로부터 얻은 방대한 사전 지식을 활용합니다. ControlNet을 동결 상태로 유지하기 위해, 우리는 UNet 레이어에 LoRA를 적용하여 포즈와 외형 특징 간의 잠재 공간을 정렬할 수 있도록 합니다. 또한, ControlNet에 추가적인 시간적 레이어를 도입함으로써 포즈 탐지기의 이상치에 대한 견고성을 강화했습니다. 시간 축에 대한 어텐션 맵 분석을 통해, 우리는 포즈 정보를 활용한 새로운 온도 맵을 설계하여 더 정적인 배경을 가능하게 했습니다. 다양한 실험을 통해 제안된 방법이 치비와 같은 다양한 포즈를 포함한 비디오 합성 작업에서 유망한 결과를 달성할 수 있음을 입증했습니다. 프로젝트 페이지: https://eccv2024tcan.github.io/

English

Pose-driven human-image animation diffusion models have shown remarkable capabilities in realistic human video synthesis. Despite the promising results achieved by previous approaches, challenges persist in achieving temporally consistent animation and ensuring robustness with off-the-shelf pose detectors. In this paper, we present TCAN, a pose-driven human image animation method that is robust to erroneous poses and consistent over time. In contrast to previous methods, we utilize the pre-trained ControlNet without fine-tuning to leverage its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the network to align the latent space between the pose and appearance features. Additionally, by introducing an additional temporal layer to the ControlNet, we enhance robustness against outliers of the pose detector. Through the analysis of attention maps over the temporal axis, we also designed a novel temperature map leveraging pose information, allowing for a more static background. Extensive experiments demonstrate that the proposed method can achieve promising results in video synthesis tasks encompassing various poses, like chibi. Project Page: https://eccv2024tcan.github.io/