DisPose: Desembaraçando Orientação de Pose para Animação Controlável de Imagens Humanas

DisPose: Disentangling Pose Guidance for Controllable Human Image Animation

December 12, 2024

Autores: Hongxiang Li, Yaowei Li, Yuhang Yang, Junjie Cao, Zhihong Zhu, Xuxin Cheng, Long Chen

cs.AI

Resumo

A animação de imagem humana controlável tem como objetivo gerar vídeos a partir de imagens de referência usando vídeos de direção. Devido aos sinais de controle limitados fornecidos por orientações esparsas (por exemplo, pose de esqueleto), trabalhos recentes têm tentado introduzir condições densas adicionais (por exemplo, mapa de profundidade) para garantir o alinhamento de movimento. No entanto, tais orientações densas estritas prejudicam a qualidade do vídeo gerado quando a forma do corpo do personagem de referência difere significativamente da do vídeo de direção. Neste artigo, apresentamos o DisPose para extrair sinais de controle mais generalizáveis e eficazes sem entrada densa adicional, que desvincula a pose de esqueleto esparsa na animação de imagem humana em orientação de campo de movimento e correspondência de pontos-chave. Especificamente, geramos um campo de movimento denso a partir de um campo de movimento esparsa e da imagem de referência, que fornece orientação densa em nível de região mantendo a generalização do controle de pose esparsa. Também extraímos características de difusão correspondentes a pontos de pose da imagem de referência, e então essas características de ponto são transferidas para a pose alvo para fornecer informações de identidade distintas. Para integrar-se perfeitamente aos modelos existentes, propomos um ControlNet híbrido plug-and-play que melhora a qualidade e consistência dos vídeos gerados enquanto congela os parâmetros do modelo existente. Experimentos qualitativos e quantitativos extensivos demonstram a superioridade do DisPose em comparação com os métodos atuais. Código: https://github.com/lihxxx/DisPose.

English

Controllable human image animation aims to generate videos from reference images using driving videos. Due to the limited control signals provided by sparse guidance (e.g., skeleton pose), recent works have attempted to introduce additional dense conditions (e.g., depth map) to ensure motion alignment. However, such strict dense guidance impairs the quality of the generated video when the body shape of the reference character differs significantly from that of the driving video. In this paper, we present DisPose to mine more generalizable and effective control signals without additional dense input, which disentangles the sparse skeleton pose in human image animation into motion field guidance and keypoint correspondence. Specifically, we generate a dense motion field from a sparse motion field and the reference image, which provides region-level dense guidance while maintaining the generalization of the sparse pose control. We also extract diffusion features corresponding to pose keypoints from the reference image, and then these point features are transferred to the target pose to provide distinct identity information. To seamlessly integrate into existing models, we propose a plug-and-play hybrid ControlNet that improves the quality and consistency of generated videos while freezing the existing model parameters. Extensive qualitative and quantitative experiments demonstrate the superiority of DisPose compared to current methods. Code: https://github.com/lihxxx/DisPose{https://github.com/lihxxx/DisPose}.