DisPose: Desenredando la Orientación de Poses para la Animación Controlable de Imágenes Humanas

DisPose: Disentangling Pose Guidance for Controllable Human Image Animation

December 12, 2024

Autores: Hongxiang Li, Yaowei Li, Yuhang Yang, Junjie Cao, Zhihong Zhu, Xuxin Cheng, Long Chen

cs.AI

Resumen

La animación de imágenes humanas controlables tiene como objetivo generar videos a partir de imágenes de referencia utilizando videos de conducción. Debido a las señales de control limitadas proporcionadas por una guía dispersa (por ejemplo, pose de esqueleto), trabajos recientes han intentado introducir condiciones densas adicionales (por ejemplo, mapa de profundidad) para garantizar la alineación del movimiento. Sin embargo, una guía densa estricta como esta perjudica la calidad del video generado cuando la forma del cuerpo del personaje de referencia difiere significativamente de la del video de conducción. En este documento, presentamos DisPose para extraer señales de control más generalizables y efectivas sin una entrada densa adicional, que descompone la pose de esqueleto dispersa en la animación de imágenes humanas en una guía de campo de movimiento y correspondencia de puntos clave. Específicamente, generamos un campo de movimiento denso a partir de un campo de movimiento disperso y la imagen de referencia, lo que proporciona una guía densa a nivel de región manteniendo la generalización del control de pose disperso. También extraemos características de difusión correspondientes a puntos clave de pose de la imagen de referencia, y luego estas características de puntos se transfieren a la pose objetivo para proporcionar información de identidad distintiva. Para integrarse sin problemas en modelos existentes, proponemos un ControlNet híbrido de plug-and-play que mejora la calidad y consistencia de los videos generados mientras se mantienen los parámetros del modelo existente congelados. Experimentos cualitativos y cuantitativos extensos demuestran la superioridad de DisPose en comparación con los métodos actuales. Código: https://github.com/lihxxx/DisPose.

English

Controllable human image animation aims to generate videos from reference images using driving videos. Due to the limited control signals provided by sparse guidance (e.g., skeleton pose), recent works have attempted to introduce additional dense conditions (e.g., depth map) to ensure motion alignment. However, such strict dense guidance impairs the quality of the generated video when the body shape of the reference character differs significantly from that of the driving video. In this paper, we present DisPose to mine more generalizable and effective control signals without additional dense input, which disentangles the sparse skeleton pose in human image animation into motion field guidance and keypoint correspondence. Specifically, we generate a dense motion field from a sparse motion field and the reference image, which provides region-level dense guidance while maintaining the generalization of the sparse pose control. We also extract diffusion features corresponding to pose keypoints from the reference image, and then these point features are transferred to the target pose to provide distinct identity information. To seamlessly integrate into existing models, we propose a plug-and-play hybrid ControlNet that improves the quality and consistency of generated videos while freezing the existing model parameters. Extensive qualitative and quantitative experiments demonstrate the superiority of DisPose compared to current methods. Code: https://github.com/lihxxx/DisPose{https://github.com/lihxxx/DisPose}.