Uniendo la Generación de Texto y Video: Una Revisión

Bridging Text and Video Generation: A Survey

October 6, 2025

Autores: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

Resumen

La tecnología de generación de texto a video (T2V) tiene el potencial de transformar múltiples dominios, como la educación, el marketing, el entretenimiento y las tecnologías de asistencia para personas con dificultades visuales o de comprensión lectora, al crear contenido visual coherente a partir de indicaciones en lenguaje natural. Desde sus inicios, el campo ha evolucionado desde modelos adversarios hasta modelos basados en difusión, produciendo resultados de mayor fidelidad y consistencia temporal. Sin embargo, persisten desafíos, como la alineación, la coherencia a largo plazo y la eficiencia computacional. Para abordar este panorama en constante evolución, presentamos una revisión exhaustiva de los modelos generativos de texto a video, rastreando su desarrollo desde los primeros GANs y VAEs hasta las arquitecturas híbridas de Difusión-Transformador (DiT), detallando cómo funcionan estos modelos, qué limitaciones abordaron en sus predecesores y por qué fueron necesarios los cambios hacia nuevos paradigmas arquitectónicos para superar los desafíos en calidad, coherencia y control. Ofrecemos un relato sistemático de los conjuntos de datos en los que se entrenaron y evaluaron los modelos de texto a video revisados y, para apoyar la reproducibilidad y evaluar la accesibilidad del entrenamiento de dichos modelos, detallamos sus configuraciones de entrenamiento, incluyendo sus especificaciones de hardware, número de GPUs, tamaños de lote, tasas de aprendizaje, optimizadores, épocas y otros hiperparámetros clave. Además, delineamos las métricas de evaluación comúnmente utilizadas para evaluar estos modelos y presentamos su rendimiento en puntos de referencia estándar, mientras discutimos las limitaciones de estas métricas y el cambio emergente hacia estrategias de evaluación más holísticas y alineadas con la percepción. Finalmente, basándonos en nuestro análisis, delineamos los desafíos abiertos actuales y proponemos algunas direcciones futuras prometedoras, estableciendo una perspectiva para que los investigadores futuros exploren y construyan sobre ella, avanzando en la investigación y aplicaciones de T2V.

English

Text-to-video (T2V) generation technology holds potential to transform multiple domains such as education, marketing, entertainment, and assistive technologies for individuals with visual or reading comprehension challenges, by creating coherent visual content from natural language prompts. From its inception, the field has advanced from adversarial models to diffusion-based models, yielding higher-fidelity, temporally consistent outputs. Yet challenges persist, such as alignment, long-range coherence, and computational efficiency. Addressing this evolving landscape, we present a comprehensive survey of text-to-video generative models, tracing their development from early GANs and VAEs to hybrid Diffusion-Transformer (DiT) architectures, detailing how these models work, what limitations they addressed in their predecessors, and why shifts toward new architectural paradigms were necessary to overcome challenges in quality, coherence, and control. We provide a systematic account of the datasets, which the surveyed text-to-video models were trained and evaluated on, and, to support reproducibility and assess the accessibility of training such models, we detail their training configurations, including their hardware specifications, GPU counts, batch sizes, learning rates, optimizers, epochs, and other key hyperparameters. Further, we outline the evaluation metrics commonly used for evaluating such models and present their performance across standard benchmarks, while also discussing the limitations of these metrics and the emerging shift toward more holistic, perception-aligned evaluation strategies. Finally, drawing from our analysis, we outline the current open challenges and propose a few promising future directions, laying out a perspective for future researchers to explore and build upon in advancing T2V research and applications.