Соединение генерации текста и видео: обзор

Аннотация

Технология генерации видео из текста (Text-to-Video, T2V) обладает потенциалом для преобразования множества областей, таких как образование, маркетинг, развлечения и вспомогательные технологии для людей с нарушениями зрения или понимания текста, создавая связный визуальный контент на основе естественноязыковых запросов. С момента своего появления эта область прошла путь от моделей, основанных на состязательных сетях (GAN), до моделей, использующих диффузионные подходы, что привело к созданию более качественных и временно согласованных результатов. Однако сохраняются такие проблемы, как согласованность, долгосрочная связность и вычислительная эффективность. В рамках этого развивающегося ландшафта мы представляем всесторонний обзор моделей генерации видео из текста, прослеживая их развитие от ранних GAN и вариационных автоэнкодеров (VAE) до гибридных архитектур, сочетающих диффузионные модели и трансформеры (DiT). Мы детализируем, как работают эти модели, какие ограничения их предшественников они устранили и почему переход к новым архитектурным парадигмам был необходим для преодоления проблем качества, связности и управляемости. Мы систематически описываем наборы данных, на которых обучались и оценивались рассмотренные модели, а также, для обеспечения воспроизводимости и оценки доступности обучения таких моделей, детализируем их конфигурации обучения, включая аппаратные характеристики, количество GPU, размеры пакетов, скорости обучения, оптимизаторы, количество эпох и другие ключевые гиперпараметры. Кроме того, мы описываем метрики оценки, обычно используемые для тестирования таких моделей, и представляем их производительность на стандартных бенчмарках, одновременно обсуждая ограничения этих метрик и растущий переход к более целостным стратегиям оценки, ориентированным на восприятие. Наконец, основываясь на нашем анализе, мы выделяем текущие открытые проблемы и предлагаем несколько перспективных направлений для будущих исследований, задавая вектор для дальнейшего изучения и развития T2V-технологий и их приложений.

English

Text-to-video (T2V) generation technology holds potential to transform multiple domains such as education, marketing, entertainment, and assistive technologies for individuals with visual or reading comprehension challenges, by creating coherent visual content from natural language prompts. From its inception, the field has advanced from adversarial models to diffusion-based models, yielding higher-fidelity, temporally consistent outputs. Yet challenges persist, such as alignment, long-range coherence, and computational efficiency. Addressing this evolving landscape, we present a comprehensive survey of text-to-video generative models, tracing their development from early GANs and VAEs to hybrid Diffusion-Transformer (DiT) architectures, detailing how these models work, what limitations they addressed in their predecessors, and why shifts toward new architectural paradigms were necessary to overcome challenges in quality, coherence, and control. We provide a systematic account of the datasets, which the surveyed text-to-video models were trained and evaluated on, and, to support reproducibility and assess the accessibility of training such models, we detail their training configurations, including their hardware specifications, GPU counts, batch sizes, learning rates, optimizers, epochs, and other key hyperparameters. Further, we outline the evaluation metrics commonly used for evaluating such models and present their performance across standard benchmarks, while also discussing the limitations of these metrics and the emerging shift toward more holistic, perception-aligned evaluation strategies. Finally, drawing from our analysis, we outline the current open challenges and propose a few promising future directions, laying out a perspective for future researchers to explore and build upon in advancing T2V research and applications.

Соединение генерации текста и видео: обзор

Bridging Text and Video Generation: A Survey

Аннотация

Support