TCAN: Animação de Imagens Humanas com Orientação de Pose Temporalmente Consistente usando Modelos de Difusão
TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models
July 12, 2024
Autores: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo
cs.AI
Resumo
Os modelos de difusão de animação de imagem humana impulsionados por pose têm demonstrado capacidades notáveis na síntese realista de vídeos humanos. Apesar dos resultados promissores alcançados por abordagens anteriores, desafios persistem na obtenção de animações temporalmente consistentes e na garantia de robustez com detectores de pose prontos para uso. Neste artigo, apresentamos o TCAN, um método de animação de imagem humana impulsionado por pose que é robusto a poses errôneas e consistente ao longo do tempo. Em contraste com métodos anteriores, utilizamos o ControlNet pré-treinado sem ajuste fino para aproveitar seu extenso conhecimento pré-adquirido a partir de inúmeras duplas de pose-imagem-legenda. Para manter o ControlNet congelado, adaptamos o LoRA às camadas UNet, permitindo que a rede alinhe o espaço latente entre as características de pose e aparência. Adicionalmente, ao introduzir uma camada temporal adicional ao ControlNet, aprimoramos a robustez contra outliers do detector de pose. Através da análise de mapas de atenção ao longo do eixo temporal, também projetamos um novo mapa de temperatura aproveitando informações de pose, permitindo um plano de fundo mais estático. Experimentos extensivos demonstram que o método proposto pode alcançar resultados promissores em tarefas de síntese de vídeo abrangendo várias poses, como chibi. Página do Projeto: https://eccv2024tcan.github.io/
English
Pose-driven human-image animation diffusion models have shown remarkable
capabilities in realistic human video synthesis. Despite the promising results
achieved by previous approaches, challenges persist in achieving temporally
consistent animation and ensuring robustness with off-the-shelf pose detectors.
In this paper, we present TCAN, a pose-driven human image animation method that
is robust to erroneous poses and consistent over time. In contrast to previous
methods, we utilize the pre-trained ControlNet without fine-tuning to leverage
its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To
keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the
network to align the latent space between the pose and appearance features.
Additionally, by introducing an additional temporal layer to the ControlNet, we
enhance robustness against outliers of the pose detector. Through the analysis
of attention maps over the temporal axis, we also designed a novel temperature
map leveraging pose information, allowing for a more static background.
Extensive experiments demonstrate that the proposed method can achieve
promising results in video synthesis tasks encompassing various poses, like
chibi. Project Page: https://eccv2024tcan.github.io/