TCAN: Анимация изображений людей с временно согласованным руководством позой с использованием моделей диффузии

TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models

July 12, 2024

Авторы: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo

cs.AI

Аннотация

Модели диффузии анимации изображений человека, управляемые позой, продемонстрировали выдающиеся возможности в синтезе реалистичных видео с участием человека. Несмотря на обнадеживающие результаты, полученные предыдущими подходами, остаются вызовы в обеспечении временной согласованности анимации и обеспечении надежности с помощью стандартных детекторов поз. В данной статье мы представляем TCAN, метод анимации изображений человека, управляемый позой, который устойчив к ошибочным позам и согласован во времени. В отличие от предыдущих методов, мы используем предварительно обученную ControlNet без донастройки для использования ее обширных знаний, полученных из множества пар поза-изображение-подпись. Чтобы сохранить ControlNet замороженным, мы адаптируем LoRA к слоям UNet, позволяя сети выравнивать латентное пространство между признаками позы и внешности. Кроме того, добавив дополнительный временной слой к ControlNet, мы улучшаем надежность против выбросов детектора поз. Через анализ карт внимания по временной оси, мы также разработали новую карту температуры, используя информацию о позе, что позволяет получить более статичный фон. Обширные эксперименты демонстрируют, что предложенный метод может достичь обнадеживающих результатов в задачах синтеза видео, охватывающих различные позы, такие как чиби. Страница проекта: https://eccv2024tcan.github.io/

English

Pose-driven human-image animation diffusion models have shown remarkable capabilities in realistic human video synthesis. Despite the promising results achieved by previous approaches, challenges persist in achieving temporally consistent animation and ensuring robustness with off-the-shelf pose detectors. In this paper, we present TCAN, a pose-driven human image animation method that is robust to erroneous poses and consistent over time. In contrast to previous methods, we utilize the pre-trained ControlNet without fine-tuning to leverage its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the network to align the latent space between the pose and appearance features. Additionally, by introducing an additional temporal layer to the ControlNet, we enhance robustness against outliers of the pose detector. Through the analysis of attention maps over the temporal axis, we also designed a novel temperature map leveraging pose information, allowing for a more static background. Extensive experiments demonstrate that the proposed method can achieve promising results in video synthesis tasks encompassing various poses, like chibi. Project Page: https://eccv2024tcan.github.io/