DisPose: Entwirren von Pose-Anleitungen für kontrollierbare menschliche Bildanimation

DisPose: Disentangling Pose Guidance for Controllable Human Image Animation

December 12, 2024

Autoren: Hongxiang Li, Yaowei Li, Yuhang Yang, Junjie Cao, Zhihong Zhu, Xuxin Cheng, Long Chen

cs.AI

Zusammenfassung

Die kontrollierbare Animation von menschlichen Bildern zielt darauf ab, Videos aus Referenzbildern mithilfe von Steuervideos zu generieren. Aufgrund der begrenzten Steuersignale, die durch spärliche Anleitung (z. B. Skelett-Posen) bereitgestellt werden, haben aktuelle Arbeiten versucht, zusätzliche dichte Bedingungen (z. B. Tiefenkarte) einzuführen, um eine Bewegungsausrichtung sicherzustellen. Eine solch strenge dichte Anleitung beeinträchtigt jedoch die Qualität des generierten Videos, wenn sich die Körperform des Referenzcharakters signifikant von der des Steuervideos unterscheidet. In diesem Papier stellen wir DisPose vor, um allgemeinere und effektivere Steuersignale ohne zusätzliche dichte Eingabe zu extrahieren, die die spärliche Skelett-Pose in der Animation von menschlichen Bildern in Bewegungsfeldanleitung und Schlüsselpunkt-Korrespondenz aufteilen. Speziell generieren wir ein dichtes Bewegungsfeld aus einem spärlichen Bewegungsfeld und dem Referenzbild, das eine dichte Anleitung auf Regionsebene bietet, während die Verallgemeinerung der spärlichen Posensteuerung beibehalten wird. Wir extrahieren auch Diffusionsmerkmale, die den Posen-Schlüsselpunkten im Referenzbild entsprechen, und übertragen dann diese Punktfunktionen auf die Zielpose, um unterschiedliche Identitätsinformationen bereitzustellen. Um nahtlos in bestehende Modelle zu integrieren, schlagen wir ein Plug-and-Play-Hybrid-ControlNet vor, das die Qualität und Konsistenz der generierten Videos verbessert, während die vorhandenen Modellparameter eingefroren werden. Umfangreiche qualitative und quantitative Experimente zeigen die Überlegenheit von DisPose im Vergleich zu aktuellen Methoden auf. Code: https://github.com/lihxxx/DisPose.

English

Controllable human image animation aims to generate videos from reference images using driving videos. Due to the limited control signals provided by sparse guidance (e.g., skeleton pose), recent works have attempted to introduce additional dense conditions (e.g., depth map) to ensure motion alignment. However, such strict dense guidance impairs the quality of the generated video when the body shape of the reference character differs significantly from that of the driving video. In this paper, we present DisPose to mine more generalizable and effective control signals without additional dense input, which disentangles the sparse skeleton pose in human image animation into motion field guidance and keypoint correspondence. Specifically, we generate a dense motion field from a sparse motion field and the reference image, which provides region-level dense guidance while maintaining the generalization of the sparse pose control. We also extract diffusion features corresponding to pose keypoints from the reference image, and then these point features are transferred to the target pose to provide distinct identity information. To seamlessly integrate into existing models, we propose a plug-and-play hybrid ControlNet that improves the quality and consistency of generated videos while freezing the existing model parameters. Extensive qualitative and quantitative experiments demonstrate the superiority of DisPose compared to current methods. Code: https://github.com/lihxxx/DisPose{https://github.com/lihxxx/DisPose}.