FaithfulFaces: Pose-getrouw behoud van gezichtsidentiteit voor tekst-naar-video generatie

Samenvatting

Identiteitsbehoudende tekst-naar-video-generatie (IPT2V) stelt gebruikers in staat om diverse en fantasierijke video's te produceren met een consistente menselijke gezichtsidentiteit. Ondanks recente vooruitgang lijden bestaande methoden vaak aan aanzienlijke identiteitsvervorming bij grote variaties in gezichtshouding of gezichtsocclusies. In dit artikel stellen we FaithfulFaces voor, een pose-getrouw leerframework voor het behoud van gezichtsidentiteit om IPT2V te verbeteren in complexe dynamische scènes. De sleutel van FaithfulFaces is een pose-gedeelde identiteitsaligneerder die gezichtshoudingen over verschillende aanzichten verfijnt en uitlijnt via een pose-gedeeld woordenboek en een beperking voor posevariatie-identiteitsinvariantie. Door invoer van één aanzicht af te beelden op een wereldwijde representatie van gezichtshoudingen met expliciete Euler-hoekinbeddingen, biedt FaithfulFaces een pose-getrouwe gezichtsprior die generatieve fundamenten stuurt naar robuuste identiteitsbehoudende generatie. In het bijzonder ontwikkelen we een gespecialiseerde pijplijn om een hoogwaardige videodataset samen te stellen met aanzienlijke diversiteit in gezichtshoudingen. Uitgebreide experimenten tonen aan dat FaithfulFaces state-of-the-art prestaties levert, met superieure identiteitsconsistentie en structurele helderheid, zelfs bij poseveranderingen en occlusies.

English

Identity-preserving text-to-video generation (IPT2V) empowers users to produce diverse and imaginative videos with consistent human facial identity. Despite recent progress, existing methods often suffer from significant identity distortion under large facial pose variations or facial occlusions. In this paper, we propose FaithfulFaces, a pose-faithful facial identity preservation learning framework to improve IPT2V in complex dynamic scenes. The key of FaithfulFaces is a pose-shared identity aligner that refines and aligns facial poses across distinct views via a pose-shared dictionary and a pose variation-identity invariance constraint. By mapping single-view inputs into a global facial pose representation with explicit Euler angle embeddings, FaithfulFaces provides a pose-faithful facial prior that guides generative foundations toward robust identity-preserving generation. In particular, we develop a specialized pipeline to curate a high-quality video dataset featuring substantial facial pose diversity. Extensive experiments demonstrate that FaithfulFaces achieves state-of-the-art performance, maintaining superior identity consistency and structural clarity even as pose changes and occlusions occur.