DisPose: Разъяснение направления позы для управляемой анимации человеческого изображения

DisPose: Disentangling Pose Guidance for Controllable Human Image Animation

December 12, 2024

Авторы: Hongxiang Li, Yaowei Li, Yuhang Yang, Junjie Cao, Zhihong Zhu, Xuxin Cheng, Long Chen

cs.AI

Аннотация

Анимация человеческого изображения с возможностью управления направлена на создание видеороликов из исходных изображений с использованием управляющих видеороликов. Из-за ограниченных управляющих сигналов, предоставляемых разреженным руководством (например, скелетная поза), недавние работы пытались ввести дополнительные плотные условия (например, карту глубины), чтобы обеспечить соответствие движения. Однако такое строгое плотное руководство ухудшает качество созданного видеоролика, когда форма тела исходного персонажа значительно отличается от той, что присутствует в управляющем видеоролике. В данной статье мы представляем DisPose для извлечения более обобщенных и эффективных управляющих сигналов без дополнительного плотного ввода, который разделяет разреженную скелетную позу в анимации человеческого изображения на направление движения и соответствие ключевых точек. Конкретно, мы генерируем плотное поле движения из разреженного поля движения и исходного изображения, что обеспечивает плотное руководство на уровне области, сохраняя при этом обобщение разреженного управления позой. Мы также извлекаем диффузионные особенности, соответствующие ключевым точкам позы, из исходного изображения, а затем эти точечные особенности передаются в целевую позу для предоставления отличной информации об идентичности. Для плавного интегрирования в существующие модели мы предлагаем гибридную ControlNet, которая улучшает качество и последовательность созданных видеороликов, сохраняя параметры существующей модели. Обширные качественные и количественные эксперименты демонстрируют превосходство DisPose по сравнению с текущими методами. Код: https://github.com/lihxxx/DisPose.

English

Controllable human image animation aims to generate videos from reference images using driving videos. Due to the limited control signals provided by sparse guidance (e.g., skeleton pose), recent works have attempted to introduce additional dense conditions (e.g., depth map) to ensure motion alignment. However, such strict dense guidance impairs the quality of the generated video when the body shape of the reference character differs significantly from that of the driving video. In this paper, we present DisPose to mine more generalizable and effective control signals without additional dense input, which disentangles the sparse skeleton pose in human image animation into motion field guidance and keypoint correspondence. Specifically, we generate a dense motion field from a sparse motion field and the reference image, which provides region-level dense guidance while maintaining the generalization of the sparse pose control. We also extract diffusion features corresponding to pose keypoints from the reference image, and then these point features are transferred to the target pose to provide distinct identity information. To seamlessly integrate into existing models, we propose a plug-and-play hybrid ControlNet that improves the quality and consistency of generated videos while freezing the existing model parameters. Extensive qualitative and quantitative experiments demonstrate the superiority of DisPose compared to current methods. Code: https://github.com/lihxxx/DisPose{https://github.com/lihxxx/DisPose}.