TCAN : Animation d'images humaines avec guidage de pose temporellement cohérent à l'aide de modèles de diffusion

TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models

July 12, 2024

Auteurs: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo

cs.AI

Résumé

Les modèles de diffusion pour l'animation d'images humaines pilotée par la pose ont démontré des capacités remarquables dans la synthèse réaliste de vidéos humaines. Malgré les résultats prometteurs obtenus par les approches précédentes, des défis persistent pour parvenir à une animation temporellement cohérente et garantir la robustesse avec des détecteurs de pose prêts à l'emploi. Dans cet article, nous présentons TCAN, une méthode d'animation d'images humaines pilotée par la pose qui est robuste aux poses erronées et cohérente dans le temps. Contrairement aux méthodes précédentes, nous utilisons le ControlNet pré-entraîné sans ajustement fin pour tirer parti de ses connaissances étendues acquises à partir de nombreuses paires pose-image-légende. Pour maintenir le ControlNet figé, nous adaptons LoRA aux couches de l'UNet, permettant au réseau d'aligner l'espace latent entre les caractéristiques de pose et d'apparence. De plus, en introduisant une couche temporelle supplémentaire au ControlNet, nous améliorons la robustesse contre les valeurs aberrantes du détecteur de pose. Grâce à l'analyse des cartes d'attention sur l'axe temporel, nous avons également conçu une nouvelle carte de température exploitant les informations de pose, permettant un arrière-plan plus statique. Des expériences approfondies démontrent que la méthode proposée peut obtenir des résultats prometteurs dans les tâches de synthèse vidéo englobant diverses poses, comme le style chibi. Page du projet : https://eccv2024tcan.github.io/

English

Pose-driven human-image animation diffusion models have shown remarkable capabilities in realistic human video synthesis. Despite the promising results achieved by previous approaches, challenges persist in achieving temporally consistent animation and ensuring robustness with off-the-shelf pose detectors. In this paper, we present TCAN, a pose-driven human image animation method that is robust to erroneous poses and consistent over time. In contrast to previous methods, we utilize the pre-trained ControlNet without fine-tuning to leverage its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the network to align the latent space between the pose and appearance features. Additionally, by introducing an additional temporal layer to the ControlNet, we enhance robustness against outliers of the pose detector. Through the analysis of attention maps over the temporal axis, we also designed a novel temperature map leveraging pose information, allowing for a more static background. Extensive experiments demonstrate that the proposed method can achieve promising results in video synthesis tasks encompassing various poses, like chibi. Project Page: https://eccv2024tcan.github.io/