TCAN: Animazione di immagini umane con guida temporale coerente della postura utilizzando modelli di diffusione

TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models

July 12, 2024

Autori: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo

cs.AI

Abstract

I modelli di diffusione per l'animazione di immagini umane guidate dalla posa hanno dimostrato capacità notevoli nella sintesi realistica di video umani. Nonostante i risultati promettenti ottenuti da approcci precedenti, permangono sfide nel raggiungere un'animazione temporalmente coerente e nel garantire robustezza con rilevatori di posa preesistenti. In questo articolo, presentiamo TCAN, un metodo di animazione di immagini umane guidato dalla posa che è robusto agli errori nelle pose e coerente nel tempo. A differenza dei metodi precedenti, utilizziamo il ControlNet pre-addestrato senza fine-tuning per sfruttare la sua vasta conoscenza acquisita da numerose coppie posa-immagine-didascalia. Per mantenere il ControlNet congelato, adattiamo LoRA agli strati UNet, consentendo alla rete di allineare lo spazio latente tra le caratteristiche della posa e dell'aspetto. Inoltre, introducendo uno strato temporale aggiuntivo al ControlNet, miglioriamo la robustezza contro gli outlier del rilevatore di pose. Attraverso l'analisi delle mappe di attenzione lungo l'asse temporale, abbiamo anche progettato una nuova mappa di temperatura che sfrutta le informazioni sulla posa, permettendo uno sfondo più statico. Esperimenti estesi dimostrano che il metodo proposto può ottenere risultati promettenti in compiti di sintesi video che comprendono varie pose, come il chibi. Pagina del progetto: https://eccv2024tcan.github.io/

English

Pose-driven human-image animation diffusion models have shown remarkable capabilities in realistic human video synthesis. Despite the promising results achieved by previous approaches, challenges persist in achieving temporally consistent animation and ensuring robustness with off-the-shelf pose detectors. In this paper, we present TCAN, a pose-driven human image animation method that is robust to erroneous poses and consistent over time. In contrast to previous methods, we utilize the pre-trained ControlNet without fine-tuning to leverage its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the network to align the latent space between the pose and appearance features. Additionally, by introducing an additional temporal layer to the ControlNet, we enhance robustness against outliers of the pose detector. Through the analysis of attention maps over the temporal axis, we also designed a novel temperature map leveraging pose information, allowing for a more static background. Extensive experiments demonstrate that the proposed method can achieve promising results in video synthesis tasks encompassing various poses, like chibi. Project Page: https://eccv2024tcan.github.io/