VideoUFO: Un Dataset su Scala Milionaria Centrato sull'Utente per la Generazione di Video da Testo

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

Autori: Wenhao Wang, Yi Yang

cs.AI

Abstract

I modelli generativi text-to-video convertono prompt testuali in contenuti visivi dinamici, offrendo applicazioni estese nella produzione cinematografica, nei videogiochi e nell'istruzione. Tuttavia, le loro prestazioni nel mondo reale spesso non soddisfano le aspettative degli utenti. Una ragione chiave è che questi modelli non sono stati addestrati su video relativi ad alcuni argomenti che gli utenti desiderano creare. In questo articolo, proponiamo VideoUFO, il primo dataset video specificamente curato per allinearsi al focus degli utenti in scenari reali. Oltre a ciò, VideoUFO presenta anche: (1) una sovrapposizione minima (0,29%) con i dataset video esistenti, e (2) video ricercati esclusivamente tramite l'API ufficiale di YouTube sotto licenza Creative Commons. Questi due attributi offrono ai futuri ricercatori una maggiore libertà per ampliare le loro fonti di addestramento. VideoUFO comprende oltre 1,09 milioni di clip video, ciascuna associata sia a una didascalia breve che a una descrizione dettagliata. Nello specifico, attraverso il clustering, abbiamo identificato 1.291 argomenti focalizzati sugli utenti dal dataset VidProM, che contiene milioni di prompt text-to-video reali. Successivamente, abbiamo utilizzato questi argomenti per recuperare video da YouTube, suddiviso i video recuperati in clip e generato didascalie brevi e dettagliate per ciascuna clip. Dopo aver verificato le clip con gli argomenti specificati, abbiamo ottenuto circa 1,09 milioni di clip video. I nostri esperimenti rivelano che (1) i 16 modelli text-to-video attuali non raggiungono prestazioni consistenti su tutti gli argomenti focalizzati sugli utenti; e (2) un semplice modello addestrato su VideoUFO supera gli altri sugli argomenti con le peggiori prestazioni. Il dataset è disponibile pubblicamente all'indirizzo https://huggingface.co/datasets/WenhaoWang/VideoUFO sotto la licenza CC BY 4.0.

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.