VideoUFO: Een Miljoen-Schaal Gebruikersgericht Dataset voor Tekst-naar-Video Generatie

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

Auteurs: Wenhao Wang, Yi Yang

cs.AI

Samenvatting

Tekst-naar-video generatieve modellen zetten tekstuele prompts om in dynamische visuele inhoud, wat brede toepassingen biedt in filmproductie, gaming en onderwijs. Hun prestaties in de praktijk vallen echter vaak tegen in vergelijking met de verwachtingen van gebruikers. Een belangrijke reden hiervoor is dat deze modellen niet getraind zijn op video's die betrekking hebben op bepaalde onderwerpen die gebruikers willen creëren. In dit artikel introduceren we VideoUFO, de eerste videodataset die specifiek is samengesteld om aan te sluiten bij de focus van gebruikers in realistische scenario's. Daarnaast kenmerkt VideoUFO zich door: (1) een minimale overlap (0,29%) met bestaande videodatasets, en (2) video's die uitsluitend zijn opgehaald via YouTube's officiële API onder de Creative Commons-licentie. Deze twee eigenschappen bieden toekomstige onderzoekers meer vrijheid om hun trainingsbronnen uit te breiden. VideoUFO bestaat uit meer dan 1,09 miljoen videoclips, elk voorzien van zowel een korte als een uitgebreide beschrijving. Specifiek hebben we door middel van clustering eerst 1.291 gebruikersgerichte onderwerpen geïdentificeerd uit de miljoenen-schaal echte tekst-naar-video promptdataset, VidProM. Vervolgens hebben we deze onderwerpen gebruikt om video's van YouTube op te halen, de opgehaalde video's in clips opgesplitst en zowel korte als uitgebreide beschrijvingen gegenereerd voor elke clip. Na verificatie van de clips met de gespecificeerde onderwerpen, blijven er ongeveer 1,09 miljoen videoclips over. Onze experimenten tonen aan dat (1) de huidige 16 tekst-naar-video modellen geen consistente prestaties leveren over alle gebruikersgerichte onderwerpen; en (2) een eenvoudig model getraind op VideoUFO beter presteert dan andere op de slechtst presterende onderwerpen. De dataset is publiekelijk beschikbaar op https://huggingface.co/datasets/WenhaoWang/VideoUFO onder de CC BY 4.0-licentie.

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.