Desacoplamiento Jerárquico Espacio-Temporal para la Generación de Texto a Video

Hierarchical Spatio-temporal Decoupling for Text-to-Video Generation

December 7, 2023

Autores: Zhiwu Qing, Shiwei Zhang, Jiayu Wang, Xiang Wang, Yujie Wei, Yingya Zhang, Changxin Gao, Nong Sang

cs.AI

Resumen

A pesar de que los modelos de difusión han demostrado una gran capacidad para generar imágenes fotorrealistas, la generación de videos que sean realistas y diversos sigue estando en sus primeras etapas. Una de las razones clave es que los métodos actuales entrelazan el contenido espacial y la dinámica temporal, lo que aumenta notablemente la complejidad de la generación de texto a video (T2V). En este trabajo, proponemos HiGen, un método basado en modelos de difusión que mejora el rendimiento al desacoplar los factores espaciales y temporales de los videos desde dos perspectivas: el nivel de estructura y el nivel de contenido. En el nivel de estructura, descomponemos la tarea T2V en dos pasos, que incluyen el razonamiento espacial y el razonamiento temporal, utilizando un desenredador unificado. Específicamente, generamos prioridades espacialmente coherentes utilizando texto durante el razonamiento espacial y luego generamos movimientos temporalmente coherentes a partir de estas prioridades durante el razonamiento temporal. En el nivel de contenido, extraemos dos pistas sutiles del contenido del video de entrada que pueden expresar cambios de movimiento y apariencia, respectivamente. Estas dos pistas luego guían el entrenamiento del modelo para generar videos, permitiendo variaciones de contenido flexibles y mejorando la estabilidad temporal. A través del paradigma desacoplado, HiGen puede reducir efectivamente la complejidad de esta tarea y generar videos realistas con precisión semántica y estabilidad de movimiento. Experimentos extensos demuestran el rendimiento superior de HiGen sobre los métodos T2V más avanzados.

English

Despite diffusion models having shown powerful abilities to generate photorealistic images, generating videos that are realistic and diverse still remains in its infancy. One of the key reasons is that current methods intertwine spatial content and temporal dynamics together, leading to a notably increased complexity of text-to-video generation (T2V). In this work, we propose HiGen, a diffusion model-based method that improves performance by decoupling the spatial and temporal factors of videos from two perspectives, i.e., structure level and content level. At the structure level, we decompose the T2V task into two steps, including spatial reasoning and temporal reasoning, using a unified denoiser. Specifically, we generate spatially coherent priors using text during spatial reasoning and then generate temporally coherent motions from these priors during temporal reasoning. At the content level, we extract two subtle cues from the content of the input video that can express motion and appearance changes, respectively. These two cues then guide the model's training for generating videos, enabling flexible content variations and enhancing temporal stability. Through the decoupled paradigm, HiGen can effectively reduce the complexity of this task and generate realistic videos with semantics accuracy and motion stability. Extensive experiments demonstrate the superior performance of HiGen over the state-of-the-art T2V methods.