VideoAuteur: Naar Lange Narratieve Video Generatie

VideoAuteur: Towards Long Narrative Video Generation

January 10, 2025

Auteurs: Junfei Xiao, Feng Cheng, Lu Qi, Liangke Gui, Jiepeng Cen, Zhibei Ma, Alan Yuille, Lu Jiang

cs.AI

Samenvatting

Recente modellen voor videogeneratie hebben veelbelovende resultaten laten zien bij het produceren van videoclips van hoge kwaliteit die enkele seconden duren. Deze modellen staan echter voor uitdagingen bij het genereren van lange sequenties die duidelijke en informatieve gebeurtenissen overbrengen, waardoor hun vermogen om coherente verhalen te ondersteunen beperkt is. In dit artikel presenteren we een grootschalige kookvideo-dataset die is ontworpen om de generatie van lange narratieven in het kookdomein te bevorderen. We valideren de kwaliteit van onze voorgestelde dataset op het gebied van visuele getrouwheid en nauwkeurigheid van tekstuele bijschriften met behulp van toonaangevende Vision-Language Modellen (VLM's) en videogeneratiemodellen, respectievelijk. We introduceren verder een Lange Narratieve Video Regisseur om zowel visuele als semantische coherentie in gegenereerde video's te verbeteren en benadrukken de rol van het afstemmen van visuele embeddings om de algehele videokwaliteit te verbeteren. Onze methode toont aanzienlijke verbeteringen in het genereren van visueel gedetailleerde en semantisch uitgelijnde keyframes, ondersteund door finetuning-technieken die tekst- en beeld-embeddings integreren in het videogeneratieproces. Projectpagina: https://videoauteur.github.io/

English

Recent video generation models have shown promising results in producing high-quality video clips lasting several seconds. However, these models face challenges in generating long sequences that convey clear and informative events, limiting their ability to support coherent narrations. In this paper, we present a large-scale cooking video dataset designed to advance long-form narrative generation in the cooking domain. We validate the quality of our proposed dataset in terms of visual fidelity and textual caption accuracy using state-of-the-art Vision-Language Models (VLMs) and video generation models, respectively. We further introduce a Long Narrative Video Director to enhance both visual and semantic coherence in generated videos and emphasize the role of aligning visual embeddings to achieve improved overall video quality. Our method demonstrates substantial improvements in generating visually detailed and semantically aligned keyframes, supported by finetuning techniques that integrate text and image embeddings within the video generation process. Project page: https://videoauteur.github.io/