EchoVideo: Генерация видео с сохранением личности человека путем объединения мультимодальных признаков

EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion

January 23, 2025

Авторы: Jiangchuan Wei, Shiyue Yan, Wenfeng Lin, Boyuan Liu, Renjie Chen, Mingyu Guo

cs.AI

Аннотация

Недавние достижения в области генерации видео значительно повлияли на различные прикладные области, особенно на генерацию видео с сохранением идентичности (IPT2V). Однако существующие методы сталкиваются с артефактами "копирования-вставки" и проблемами низкой сходства, в основном из-за зависимости от низкоуровневой информации об изображениях лиц. Эта зависимость может привести к жестким чертам лица и артефактам, отражающим нерелевантные детали. Для решения этих проблем мы предлагаем EchoVideo, который использует две ключевые стратегии: (1) модуль слияния изображения и текста для идентичности (IITF), интегрирующий высокоуровневые семантические признаки из текста, захватывая чистые представления идентичности лица и отбрасывая заслонки, позы и изменения освещения для предотвращения появления артефактов; (2) двухэтапная стратегия обучения, включающая стохастический метод на втором этапе для случайного использования поверхностной информации о лице. Цель состоит в балансировке улучшений в достоверности, предоставляемых поверхностными признаками, с одновременным смягчением избыточной зависимости от них. Эта стратегия побуждает модель использовать высокоуровневые признаки во время обучения, в конечном итоге способствуя более надежному представлению идентичности лиц. EchoVideo эффективно сохраняет идентичности лиц и поддерживает целостность всего тела. Обширные эксперименты демонстрируют, что он достигает отличных результатов в генерации видео высокого качества, управляемости и достоверности.

English

Recent advancements in video generation have significantly impacted various downstream applications, particularly in identity-preserving video generation (IPT2V). However, existing methods struggle with "copy-paste" artifacts and low similarity issues, primarily due to their reliance on low-level facial image information. This dependence can result in rigid facial appearances and artifacts reflecting irrelevant details. To address these challenges, we propose EchoVideo, which employs two key strategies: (1) an Identity Image-Text Fusion Module (IITF) that integrates high-level semantic features from text, capturing clean facial identity representations while discarding occlusions, poses, and lighting variations to avoid the introduction of artifacts; (2) a two-stage training strategy, incorporating a stochastic method in the second phase to randomly utilize shallow facial information. The objective is to balance the enhancements in fidelity provided by shallow features while mitigating excessive reliance on them. This strategy encourages the model to utilize high-level features during training, ultimately fostering a more robust representation of facial identities. EchoVideo effectively preserves facial identities and maintains full-body integrity. Extensive experiments demonstrate that it achieves excellent results in generating high-quality, controllability and fidelity videos.