Collegare la Generazione di Testo e Video: Una Rassegna

Bridging Text and Video Generation: A Survey

October 6, 2025

Autori: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

Abstract

La tecnologia di generazione da testo a video (Text-to-Video, T2V) ha il potenziale di trasformare molteplici domini, come l'educazione, il marketing, l'intrattenimento e le tecnologie assistive per individui con difficoltà visive o di comprensione della lettura, creando contenuti visivi coerenti a partire da prompt in linguaggio naturale. Dalle sue origini, il campo è progredito da modelli adversarial a modelli basati su diffusione, producendo output di maggiore fedeltà e coerenza temporale. Tuttavia, persistono sfide come l'allineamento, la coerenza a lungo raggio e l'efficienza computazionale. Affrontando questo panorama in evoluzione, presentiamo una rassegna completa dei modelli generativi da testo a video, tracciandone lo sviluppo dai primi GAN e VAE fino alle architetture ibride Diffusion-Transformer (DiT), dettagliando come funzionano questi modelli, quali limitazioni hanno affrontato nei loro predecessori e perché i passaggi verso nuovi paradigmi architetturali sono stati necessari per superare le sfide in termini di qualità, coerenza e controllo. Forniamo un resoconto sistematico dei dataset su cui i modelli T2V esaminati sono stati addestrati e valutati e, per supportare la riproducibilità e valutare l'accessibilità dell'addestramento di tali modelli, dettagliamo le loro configurazioni di addestramento, incluse le specifiche hardware, il numero di GPU, le dimensioni dei batch, i tassi di apprendimento, gli ottimizzatori, le epoche e altri iperparametri chiave. Inoltre, delineiamo le metriche di valutazione comunemente utilizzate per valutare tali modelli e presentiamo le loro prestazioni su benchmark standard, discutendo anche i limiti di queste metriche e il crescente passaggio verso strategie di valutazione più olistiche e allineate alla percezione. Infine, basandoci sulla nostra analisi, delineiamo le attuali sfide aperte e proponiamo alcune promettenti direzioni future, offrendo una prospettiva per i futuri ricercatori da esplorare e sviluppare per far progredire la ricerca e le applicazioni T2V.

English

Text-to-video (T2V) generation technology holds potential to transform multiple domains such as education, marketing, entertainment, and assistive technologies for individuals with visual or reading comprehension challenges, by creating coherent visual content from natural language prompts. From its inception, the field has advanced from adversarial models to diffusion-based models, yielding higher-fidelity, temporally consistent outputs. Yet challenges persist, such as alignment, long-range coherence, and computational efficiency. Addressing this evolving landscape, we present a comprehensive survey of text-to-video generative models, tracing their development from early GANs and VAEs to hybrid Diffusion-Transformer (DiT) architectures, detailing how these models work, what limitations they addressed in their predecessors, and why shifts toward new architectural paradigms were necessary to overcome challenges in quality, coherence, and control. We provide a systematic account of the datasets, which the surveyed text-to-video models were trained and evaluated on, and, to support reproducibility and assess the accessibility of training such models, we detail their training configurations, including their hardware specifications, GPU counts, batch sizes, learning rates, optimizers, epochs, and other key hyperparameters. Further, we outline the evaluation metrics commonly used for evaluating such models and present their performance across standard benchmarks, while also discussing the limitations of these metrics and the emerging shift toward more holistic, perception-aligned evaluation strategies. Finally, drawing from our analysis, we outline the current open challenges and propose a few promising future directions, laying out a perspective for future researchers to explore and build upon in advancing T2V research and applications.