Champ: Animazione Controllabile e Coerente di Immagini Umane con Guida Parametrica 3D

Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance

March 21, 2024

Autori: Shenhao Zhu, Junming Leo Chen, Zuozhuo Dai, Yinghui Xu, Xun Cao, Yao Yao, Hao Zhu, Siyu Zhu

cs.AI

Abstract

In questo studio, introduciamo una metodologia per l'animazione di immagini umane sfruttando un modello parametrico umano 3D all'interno di un framework di diffusione latente per migliorare l'allineamento della forma e la guida del movimento nelle attuali tecniche generative umane. La metodologia utilizza il modello SMPL (Skinned Multi-Person Linear) come modello parametrico umano 3D per stabilire una rappresentazione unificata della forma del corpo e della postura. Ciò facilita la cattura accurata della geometria umana complessa e delle caratteristiche del movimento dai video sorgente. Nello specifico, incorporiamo immagini di profondità renderizzate, mappe normali e mappe semantiche ottenute dalle sequenze SMPL, insieme alla guida del movimento basata sullo scheletro, per arricchire le condizioni del modello di diffusione latente con una forma 3D completa e attributi dettagliati della postura. Un modulo di fusione del movimento multi-strato, che integra meccanismi di self-attention, viene impiegato per fondere le rappresentazioni latenti della forma e del movimento nel dominio spaziale. Rappresentando il modello parametrico umano 3D come guida del movimento, possiamo eseguire l'allineamento parametrico della forma del corpo tra l'immagine di riferimento e il movimento del video sorgente. Le valutazioni sperimentali condotte su dataset di riferimento dimostrano la capacità superiore della metodologia di generare animazioni umane di alta qualità che catturano accuratamente sia le variazioni di postura che di forma. Inoltre, il nostro approccio mostra anche capacità di generalizzazione superiori sul dataset wild proposto. Pagina del progetto: https://fudan-generative-vision.github.io/champ.

English

In this study, we introduce a methodology for human image animation by leveraging a 3D human parametric model within a latent diffusion framework to enhance shape alignment and motion guidance in curernt human generative techniques. The methodology utilizes the SMPL(Skinned Multi-Person Linear) model as the 3D human parametric model to establish a unified representation of body shape and pose. This facilitates the accurate capture of intricate human geometry and motion characteristics from source videos. Specifically, we incorporate rendered depth images, normal maps, and semantic maps obtained from SMPL sequences, alongside skeleton-based motion guidance, to enrich the conditions to the latent diffusion model with comprehensive 3D shape and detailed pose attributes. A multi-layer motion fusion module, integrating self-attention mechanisms, is employed to fuse the shape and motion latent representations in the spatial domain. By representing the 3D human parametric model as the motion guidance, we can perform parametric shape alignment of the human body between the reference image and the source video motion. Experimental evaluations conducted on benchmark datasets demonstrate the methodology's superior ability to generate high-quality human animations that accurately capture both pose and shape variations. Furthermore, our approach also exhibits superior generalization capabilities on the proposed wild dataset. Project page: https://fudan-generative-vision.github.io/champ.