Champ: Beheersbare en Consistente Menselijke Beeldanimatie met 3D Parametrische Begeleiding

Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance

March 21, 2024

Auteurs: Shenhao Zhu, Junming Leo Chen, Zuozhuo Dai, Yinghui Xu, Xun Cao, Yao Yao, Hao Zhu, Siyu Zhu

cs.AI

Samenvatting

In deze studie introduceren we een methodologie voor het animeren van menselijke beelden door gebruik te maken van een 3D-parametrisch menselijk model binnen een latent diffusiekader om de vormuitlijning en bewegingsbegeleiding in huidige technieken voor het genereren van menselijke beelden te verbeteren. De methodologie maakt gebruik van het SMPL-model (Skinned Multi-Person Linear) als het 3D-parametrische menselijke model om een uniforme representatie van lichaamsvorm en houding te creëren. Dit vergemakkelijkt het nauwkeurig vastleggen van complexe menselijke geometrie en bewegingskenmerken uit bronvideo's. Specifiek integreren we gerenderde diepte-afbeeldingen, normal maps en semantische maps verkregen uit SMPL-sequenties, naast skeletgebaseerde bewegingsbegeleiding, om de voorwaarden voor het latent diffusiemodel te verrijken met uitgebreide 3D-vorm en gedetailleerde houdingskenmerken. Een meerlaagse bewegingsfusiemodule, die zelf-attentiemechanismen integreert, wordt gebruikt om de vorm- en bewegingslatente representaties in het ruimtelijke domein te fuseren. Door het 3D-parametrische menselijke model als bewegingsbegeleiding te representeren, kunnen we een parametrische vormuitlijning van het menselijk lichaam uitvoeren tussen het referentiebeeld en de beweging in de bronvideo. Experimentele evaluaties uitgevoerd op benchmark-datasets tonen de superieure mogelijkheid van de methodologie aan om hoogwaardige menselijke animaties te genereren die zowel houdings- als vormvariaties nauwkeurig vastleggen. Bovendien toont onze aanpak ook superieure generalisatiecapaciteiten op de voorgestelde wild-dataset. Projectpagina: https://fudan-generative-vision.github.io/champ.

English

In this study, we introduce a methodology for human image animation by leveraging a 3D human parametric model within a latent diffusion framework to enhance shape alignment and motion guidance in curernt human generative techniques. The methodology utilizes the SMPL(Skinned Multi-Person Linear) model as the 3D human parametric model to establish a unified representation of body shape and pose. This facilitates the accurate capture of intricate human geometry and motion characteristics from source videos. Specifically, we incorporate rendered depth images, normal maps, and semantic maps obtained from SMPL sequences, alongside skeleton-based motion guidance, to enrich the conditions to the latent diffusion model with comprehensive 3D shape and detailed pose attributes. A multi-layer motion fusion module, integrating self-attention mechanisms, is employed to fuse the shape and motion latent representations in the spatial domain. By representing the 3D human parametric model as the motion guidance, we can perform parametric shape alignment of the human body between the reference image and the source video motion. Experimental evaluations conducted on benchmark datasets demonstrate the methodology's superior ability to generate high-quality human animations that accurately capture both pose and shape variations. Furthermore, our approach also exhibits superior generalization capabilities on the proposed wild dataset. Project page: https://fudan-generative-vision.github.io/champ.