Brückenschlag zwischen Text- und Videogenerierung: Ein Überblick

Bridging Text and Video Generation: A Survey

October 6, 2025

papers.authors: Nilay Kumar, Priyansh Bhandari, G. Maragatham

cs.AI

papers.abstract

Die Text-zu-Video (T2V)-Generierungstechnologie hat das Potenzial, zahlreiche Bereiche wie Bildung, Marketing, Unterhaltung und assistive Technologien für Menschen mit visuellen oder Leseverständnisschwierigkeiten zu transformieren, indem sie kohärente visuelle Inhalte aus natürlichen Sprachbefehlen erzeugt. Seit ihren Anfängen hat sich das Feld von adversariellen Modellen zu diffusionsbasierten Modellen weiterentwickelt, was zu höherer Qualität und zeitlicher Konsistenz der Ausgaben führt. Dennoch bestehen weiterhin Herausforderungen wie Ausrichtung, langfristige Kohärenz und Recheneffizienz. Vor diesem sich wandelnden Hintergrund präsentieren wir eine umfassende Übersicht über text-zu-video-generative Modelle, verfolgen ihre Entwicklung von frühen GANs und VAEs bis hin zu hybriden Diffusion-Transformer (DiT)-Architekturen und erläutern, wie diese Modelle funktionieren, welche Einschränkungen ihrer Vorgänger sie adressierten und warum Verschiebungen hin zu neuen architektonischen Paradigmen notwendig waren, um Herausforderungen in Bezug auf Qualität, Kohärenz und Kontrolle zu überwinden. Wir bieten einen systematischen Überblick über die Datensätze, auf denen die untersuchten Text-zu-Video-Modelle trainiert und evaluiert wurden, und um Reproduzierbarkeit zu unterstützen und die Zugänglichkeit des Trainings solcher Modelle zu bewerten, detaillieren wir ihre Trainingskonfigurationen, einschließlich ihrer Hardware-Spezifikationen, GPU-Anzahl, Batch-Größen, Lernraten, Optimierer, Epochen und anderer wichtiger Hyperparameter. Darüber hinaus skizzieren wir die gängigen Evaluationsmetriken, die zur Bewertung solcher Modelle verwendet werden, und präsentieren ihre Leistung über Standard-Benchmarks hinweg, während wir auch die Grenzen dieser Metriken und den aufkommenden Trend hin zu ganzheitlicheren, wahrnehmungsorientierten Evaluationsstrategien diskutieren. Schließlich skizzieren wir auf der Grundlage unserer Analyse die aktuellen offenen Herausforderungen und schlagen einige vielversprechende zukünftige Richtungen vor, um eine Perspektive für zukünftige Forscher zu schaffen, die T2V-Forschung und -Anwendungen weiter voranzutreiben und darauf aufzubauen.

English

Text-to-video (T2V) generation technology holds potential to transform multiple domains such as education, marketing, entertainment, and assistive technologies for individuals with visual or reading comprehension challenges, by creating coherent visual content from natural language prompts. From its inception, the field has advanced from adversarial models to diffusion-based models, yielding higher-fidelity, temporally consistent outputs. Yet challenges persist, such as alignment, long-range coherence, and computational efficiency. Addressing this evolving landscape, we present a comprehensive survey of text-to-video generative models, tracing their development from early GANs and VAEs to hybrid Diffusion-Transformer (DiT) architectures, detailing how these models work, what limitations they addressed in their predecessors, and why shifts toward new architectural paradigms were necessary to overcome challenges in quality, coherence, and control. We provide a systematic account of the datasets, which the surveyed text-to-video models were trained and evaluated on, and, to support reproducibility and assess the accessibility of training such models, we detail their training configurations, including their hardware specifications, GPU counts, batch sizes, learning rates, optimizers, epochs, and other key hyperparameters. Further, we outline the evaluation metrics commonly used for evaluating such models and present their performance across standard benchmarks, while also discussing the limitations of these metrics and the emerging shift toward more holistic, perception-aligned evaluation strategies. Finally, drawing from our analysis, we outline the current open challenges and propose a few promising future directions, laying out a perspective for future researchers to explore and build upon in advancing T2V research and applications.