DisPose : Démêler l'orientation pour l'animation contrôlable d'images humaines

DisPose: Disentangling Pose Guidance for Controllable Human Image Animation

December 12, 2024

Auteurs: Hongxiang Li, Yaowei Li, Yuhang Yang, Junjie Cao, Zhihong Zhu, Xuxin Cheng, Long Chen

cs.AI

Résumé

L'animation d'image humaine contrôlable vise à générer des vidéos à partir d'images de référence en utilisant des vidéos de pilotage. En raison des signaux de contrôle limités fournis par des directives clairsemées (par exemple, pose squelettique), des travaux récents ont tenté d'introduire des conditions denses supplémentaires (par exemple, carte de profondeur) pour garantir l'alignement des mouvements. Cependant, de telles directives denses strictes nuisent à la qualité de la vidéo générée lorsque la forme du corps du personnage de référence diffère significativement de celle de la vidéo de pilotage. Dans cet article, nous présentons DisPose pour extraire des signaux de contrôle plus généralisables et efficaces sans entrée dense supplémentaire, qui démêle la pose squelettique clairsemée dans l'animation d'image humaine en guidage de champ de mouvement et correspondance des points clés. Plus précisément, nous générons un champ de mouvement dense à partir d'un champ de mouvement clairsemé et de l'image de référence, ce qui fournit un guidage dense au niveau de la région tout en maintenant la généralisation du contrôle de pose clairsemé. Nous extrayons également des caractéristiques de diffusion correspondant aux points clés de la pose de l'image de référence, et ces caractéristiques ponctuelles sont ensuite transférées à la pose cible pour fournir des informations d'identité distinctes. Pour s'intégrer de manière transparente dans les modèles existants, nous proposons un hybride ControlNet plug-and-play qui améliore la qualité et la cohérence des vidéos générées tout en gelant les paramètres du modèle existant. De vastes expériences qualitatives et quantitatives démontrent la supériorité de DisPose par rapport aux méthodes actuelles. Code : https://github.com/lihxxx/DisPose.

English

Controllable human image animation aims to generate videos from reference images using driving videos. Due to the limited control signals provided by sparse guidance (e.g., skeleton pose), recent works have attempted to introduce additional dense conditions (e.g., depth map) to ensure motion alignment. However, such strict dense guidance impairs the quality of the generated video when the body shape of the reference character differs significantly from that of the driving video. In this paper, we present DisPose to mine more generalizable and effective control signals without additional dense input, which disentangles the sparse skeleton pose in human image animation into motion field guidance and keypoint correspondence. Specifically, we generate a dense motion field from a sparse motion field and the reference image, which provides region-level dense guidance while maintaining the generalization of the sparse pose control. We also extract diffusion features corresponding to pose keypoints from the reference image, and then these point features are transferred to the target pose to provide distinct identity information. To seamlessly integrate into existing models, we propose a plug-and-play hybrid ControlNet that improves the quality and consistency of generated videos while freezing the existing model parameters. Extensive qualitative and quantitative experiments demonstrate the superiority of DisPose compared to current methods. Code: https://github.com/lihxxx/DisPose{https://github.com/lihxxx/DisPose}.