Генерация видео из текста с сохранением идентичности путем декомпозиции частот.

Identity-Preserving Text-to-Video Generation by Frequency Decomposition

November 26, 2024

Авторы: Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

cs.AI

Аннотация

Генерация текста в видео с сохранением идентичности (IPT2V) направлена на создание видеороликов высокого качества с согласованной человеческой идентичностью. Это важная задача в области генерации видео, но остаётся открытой проблемой для генеративных моделей. В данной статье расширяются технические возможности IPT2V в двух направлениях, которые не были решены в литературе: (1) конвейер без настройки без утомительной настройки в каждом случае, и (2) эвристическая схема управления на основе DiT с учётом частот. Мы предлагаем ConsisID, модель IPT2V на основе DiT с возможностью управления без настройки для поддержания согласованности человеческой идентичности в созданном видео. Вдохновленные предыдущими исследованиями в области анализа частот диффузионных трансформаторов, мы используем сигналы управления идентичностью в частотной области, где лицевые черты могут быть разложены на низкочастотные глобальные черты и высокочастотные внутренние черты. Во-первых, с низкочастотной точки зрения, мы представляем глобальный лицевой извлекатель, который кодирует ссылочные изображения и ключевые точки лица в латентное пространство, генерируя черты, обогащенные низкочастотной информацией. Эти черты затем интегрируются в поверхностные слои сети для смягчения проблем обучения, связанных с DiT. Во-вторых, с высокочастотной точки зрения, мы разрабатываем локальный лицевой извлекатель для захвата деталей высокой частоты и внедряем их в блоки трансформатора, улучшая способность модели сохранять мелкозернистые черты. Мы предлагаем иерархическую стратегию обучения для использования информации о частотах для сохранения идентичности, превращая обычную предварительно обученную модель генерации видео в модель IPT2V. Обширные эксперименты показывают, что наша эвристическая схема с учётом частот предоставляет оптимальное решение управления для моделей на основе DiT. Благодаря этой схеме наш ConsisID генерирует видеоролики высокого качества с сохранением идентичности, делая шаги в направлении более эффективного IPT2V.

English

Identity-preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving DiT-based control scheme. We propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human identity consistent in the generated video. Inspired by prior findings in frequency analysis of diffusion transformers, it employs identity-control signals in the frequency domain, where facial features can be decomposed into low-frequency global features and high-frequency intrinsic features. First, from a low-frequency perspective, we introduce a global facial extractor, which encodes reference images and facial key points into a latent space, generating features enriched with low-frequency information. These features are then integrated into shallow layers of the network to alleviate training challenges associated with DiT. Second, from a high-frequency perspective, we design a local facial extractor to capture high-frequency details and inject them into transformer blocks, enhancing the model's ability to preserve fine-grained features. We propose a hierarchical training strategy to leverage frequency information for identity preservation, transforming a vanilla pre-trained video generation model into an IPT2V model. Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models. Thanks to this scheme, our ConsisID generates high-quality, identity-preserving videos, making strides towards more effective IPT2V.