TCAN: Animando imágenes humanas con orientación de postura temporalmente consistente utilizando modelos de difusión

TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models

July 12, 2024

Autores: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo

cs.AI

Resumen

Los modelos de difusión de animación de imágenes humanas impulsados por poses han demostrado capacidades notables en la síntesis realista de videos humanos. A pesar de los resultados prometedores logrados por enfoques anteriores, persisten desafíos en lograr una animación temporalmente consistente y garantizar la robustez con detectores de poses listos para usar. En este artículo, presentamos TCAN, un método de animación de imágenes humanas impulsado por poses que es robusto a poses erróneas y consistente en el tiempo. En contraste con métodos anteriores, utilizamos el ControlNet pre-entrenado sin ajuste fino para aprovechar su extenso conocimiento preadquirido de numerosos pares de poses-imágenes-leyendas. Para mantener el ControlNet congelado, adaptamos LoRA a las capas de UNet, permitiendo que la red alinee el espacio latente entre las características de pose y apariencia. Además, al introducir una capa temporal adicional al ControlNet, mejoramos la robustez contra valores atípicos del detector de poses. A través del análisis de mapas de atención en el eje temporal, también diseñamos un mapa de temperatura novedoso aprovechando la información de poses, lo que permite un fondo más estático. Experimentos extensos demuestran que el método propuesto puede lograr resultados prometedores en tareas de síntesis de video que abarcan diversas poses, como chibi. Página del Proyecto: https://eccv2024tcan.github.io/

English

Pose-driven human-image animation diffusion models have shown remarkable capabilities in realistic human video synthesis. Despite the promising results achieved by previous approaches, challenges persist in achieving temporally consistent animation and ensuring robustness with off-the-shelf pose detectors. In this paper, we present TCAN, a pose-driven human image animation method that is robust to erroneous poses and consistent over time. In contrast to previous methods, we utilize the pre-trained ControlNet without fine-tuning to leverage its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the network to align the latent space between the pose and appearance features. Additionally, by introducing an additional temporal layer to the ControlNet, we enhance robustness against outliers of the pose detector. Through the analysis of attention maps over the temporal axis, we also designed a novel temperature map leveraging pose information, allowing for a more static background. Extensive experiments demonstrate that the proposed method can achieve promising results in video synthesis tasks encompassing various poses, like chibi. Project Page: https://eccv2024tcan.github.io/