TCAN: Menselijke afbeeldingen animeren met tijdelijk consistente posebegeleiding met behulp van diffusiemodellen

TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models

July 12, 2024

Auteurs: Jeongho Kim, Min-Jung Kim, Junsoo Lee, Jaegul Choo

cs.AI

Samenvatting

Pose-gestuurde diffusiemodellen voor menselijke beeldanimatie hebben opmerkelijke mogelijkheden getoond in realistische menselijke videosynthese. Ondanks de veelbelovende resultaten die eerdere benaderingen hebben bereikt, blijven er uitdagingen bestaan in het bereiken van temporeel consistente animatie en het waarborgen van robuustheid met kant-en-klare posedetectoren. In dit artikel presenteren we TCAN, een pose-gestuurde methode voor menselijke beeldanimatie die robuust is tegen foutieve poses en consistent in de tijd. In tegenstelling tot eerdere methoden maken we gebruik van het vooraf getrainde ControlNet zonder fine-tuning om de uitgebreide vooraf verworven kennis uit talloze pose-beeld-bijschriftparen te benutten. Om het ControlNet bevroren te houden, passen we LoRA aan op de UNet-lagen, waardoor het netwerk in staat is om de latente ruimte tussen de pose- en uiterlijkkenmerken uit te lijnen. Daarnaast verhogen we de robuustheid tegen uitschieters van de posedetector door een extra temporele laag aan het ControlNet toe te voegen. Door de analyse van aandachtsoverzichten over de temporele as hebben we ook een nieuwe temperatuurkaart ontworpen die pose-informatie benut, waardoor een statischer achtergrond mogelijk wordt. Uitgebreide experimenten tonen aan dat de voorgestelde methode veelbelovende resultaten kan bereiken in videosynthesetaken die verschillende poses omvatten, zoals chibi. Projectpagina: https://eccv2024tcan.github.io/

English

Pose-driven human-image animation diffusion models have shown remarkable capabilities in realistic human video synthesis. Despite the promising results achieved by previous approaches, challenges persist in achieving temporally consistent animation and ensuring robustness with off-the-shelf pose detectors. In this paper, we present TCAN, a pose-driven human image animation method that is robust to erroneous poses and consistent over time. In contrast to previous methods, we utilize the pre-trained ControlNet without fine-tuning to leverage its extensive pre-acquired knowledge from numerous pose-image-caption pairs. To keep the ControlNet frozen, we adapt LoRA to the UNet layers, enabling the network to align the latent space between the pose and appearance features. Additionally, by introducing an additional temporal layer to the ControlNet, we enhance robustness against outliers of the pose detector. Through the analysis of attention maps over the temporal axis, we also designed a novel temperature map leveraging pose information, allowing for a more static background. Extensive experiments demonstrate that the proposed method can achieve promising results in video synthesis tasks encompassing various poses, like chibi. Project Page: https://eccv2024tcan.github.io/