ВидеоАвтор: К долгим повествовательным видео-генерациям

VideoAuteur: Towards Long Narrative Video Generation

January 10, 2025

Авторы: Junfei Xiao, Feng Cheng, Lu Qi, Liangke Gui, Jiepeng Cen, Zhibei Ma, Alan Yuille, Lu Jiang

cs.AI

Аннотация

Недавние модели генерации видео показали многообещающие результаты в создании видеороликов высокого качества продолжительностью несколько секунд. Однако эти модели сталкиваются с вызовами при создании длинных последовательностей, которые передают четкие и информативные события, что ограничивает их способность поддерживать последовательные повествования. В данной статье мы представляем крупномасштабный набор данных видео по приготовлению блюд, разработанный для продвижения генерации длинных повествовательных форм в области кулинарии. Мы проверяем качество нашего предложенного набора данных с точки зрения визуальной достоверности и точности текстовых подписей с использованием передовых моделей видение-язык (Vision-Language Models, VLMs) и моделей генерации видео соответственно. Мы также представляем Длинного Режиссера Видео повествовательного формата для улучшения как визуальной, так и семантической связности в создаваемых видеороликах и подчеркиваем роль выравнивания визуальных вложений для достижения улучшенного общего качества видео. Наш метод демонстрирует существенные улучшения в создании визуально детализированных и семантически выровненных ключевых кадров, поддерживаемых методиками донастройки, интегрирующими текстовые и изображенческие вложения в процесс генерации видео. Страница проекта: https://videoauteur.github.io/

English

Recent video generation models have shown promising results in producing high-quality video clips lasting several seconds. However, these models face challenges in generating long sequences that convey clear and informative events, limiting their ability to support coherent narrations. In this paper, we present a large-scale cooking video dataset designed to advance long-form narrative generation in the cooking domain. We validate the quality of our proposed dataset in terms of visual fidelity and textual caption accuracy using state-of-the-art Vision-Language Models (VLMs) and video generation models, respectively. We further introduce a Long Narrative Video Director to enhance both visual and semantic coherence in generated videos and emphasize the role of aligning visual embeddings to achieve improved overall video quality. Our method demonstrates substantial improvements in generating visually detailed and semantically aligned keyframes, supported by finetuning techniques that integrate text and image embeddings within the video generation process. Project page: https://videoauteur.github.io/