EchoVideo: Geração de Vídeo Humano Preservando Identidade por Fusão de Recursos Multimodais

EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion

January 23, 2025

Autores: Jiangchuan Wei, Shiyue Yan, Wenfeng Lin, Boyuan Liu, Renjie Chen, Mingyu Guo

cs.AI

Resumo

Os avanços recentes na geração de vídeos têm impactado significativamente diversas aplicações subsequentes, especialmente na geração de vídeos preservando identidade (IPT2V). No entanto, os métodos existentes enfrentam dificuldades com artefatos de "copiar e colar" e problemas de baixa similaridade, principalmente devido à sua dependência de informações de imagem facial em baixo nível. Essa dependência pode resultar em aparências faciais rígidas e artefatos que refletem detalhes irrelevantes. Para lidar com esses desafios, propomos o EchoVideo, que emprega duas estratégias-chave: (1) um Módulo de Fusão de Imagem-Texto de Identidade (IITF) que integra características semânticas de alto nível do texto, capturando representações de identidade facial limpas enquanto descarta oclusões, poses e variações de iluminação para evitar a introdução de artefatos; (2) uma estratégia de treinamento em duas etapas, incorporando um método estocástico na segunda fase para utilizar aleatoriamente informações faciais rasas. O objetivo é equilibrar as melhorias na fidelidade fornecidas por características rasas enquanto mitiga a dependência excessiva delas. Essa estratégia incentiva o modelo a utilizar características de alto nível durante o treinamento, promovendo, em última instância, uma representação mais robusta das identidades faciais. O EchoVideo preserva efetivamente identidades faciais e mantém a integridade do corpo inteiro. Experimentos extensivos demonstram que ele alcança excelentes resultados na geração de vídeos de alta qualidade, controlabilidade e fidelidade.

English

Recent advancements in video generation have significantly impacted various downstream applications, particularly in identity-preserving video generation (IPT2V). However, existing methods struggle with "copy-paste" artifacts and low similarity issues, primarily due to their reliance on low-level facial image information. This dependence can result in rigid facial appearances and artifacts reflecting irrelevant details. To address these challenges, we propose EchoVideo, which employs two key strategies: (1) an Identity Image-Text Fusion Module (IITF) that integrates high-level semantic features from text, capturing clean facial identity representations while discarding occlusions, poses, and lighting variations to avoid the introduction of artifacts; (2) a two-stage training strategy, incorporating a stochastic method in the second phase to randomly utilize shallow facial information. The objective is to balance the enhancements in fidelity provided by shallow features while mitigating excessive reliance on them. This strategy encourages the model to utilize high-level features during training, ultimately fostering a more robust representation of facial identities. EchoVideo effectively preserves facial identities and maintains full-body integrity. Extensive experiments demonstrate that it achieves excellent results in generating high-quality, controllability and fidelity videos.