FaithfulFaces: Preservação da Identidade Facial Fiel à Pose para Geração de Texto para Vídeo

Resumo

A geração de texto para vídeo com preservação de identidade (IPT2V) capacita os usuários a produzirem vídeos diversos e imaginativos com identidade facial humana consistente. Apesar dos avanços recentes, os métodos existentes frequentemente sofrem de distorção significativa da identidade diante de grandes variações de pose facial ou oclusões faciais. Neste artigo, propomos o FaithfulFaces, uma estrutura de aprendizado para preservação de identidade facial fiel à pose, visando melhorar a IPT2V em cenas dinâmicas complexas. O principal elemento do FaithfulFaces é um alinhador de identidade compartilhada de pose que refina e alinha poses faciais entre diferentes vistas por meio de um dicionário compartilhado de pose e uma restrição de invariância de variação de pose versus identidade. Ao mapear entradas de vista única para uma representação global de pose facial com embeddings explícitos de ângulos de Euler, o FaithfulFaces oferece um prior facial fiel à pose que guia fundações generativas em direção a uma geração robusta de preservação de identidade. Em particular, desenvolvemos um pipeline especializado para curar um conjunto de dados de vídeo de alta qualidade, caracterizado por substancial diversidade de pose facial. Experimentos extensivos demonstram que o FaithfulFaces alcança desempenho de estado da arte, mantendo consistência de identidade superior e clareza estrutural mesmo quando ocorrem mudanças de pose e oclusões.

English

Identity-preserving text-to-video generation (IPT2V) empowers users to produce diverse and imaginative videos with consistent human facial identity. Despite recent progress, existing methods often suffer from significant identity distortion under large facial pose variations or facial occlusions. In this paper, we propose FaithfulFaces, a pose-faithful facial identity preservation learning framework to improve IPT2V in complex dynamic scenes. The key of FaithfulFaces is a pose-shared identity aligner that refines and aligns facial poses across distinct views via a pose-shared dictionary and a pose variation-identity invariance constraint. By mapping single-view inputs into a global facial pose representation with explicit Euler angle embeddings, FaithfulFaces provides a pose-faithful facial prior that guides generative foundations toward robust identity-preserving generation. In particular, we develop a specialized pipeline to curate a high-quality video dataset featuring substantial facial pose diversity. Extensive experiments demonstrate that FaithfulFaces achieves state-of-the-art performance, maintaining superior identity consistency and structural clarity even as pose changes and occlusions occur.