VideoUFO : Un ensemble de données à l'échelle du million centré sur l'utilisateur pour la génération texte-vidéo

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

Auteurs: Wenhao Wang, Yi Yang

cs.AI

Résumé

Les modèles génératifs texte-vidéo transforment des invites textuelles en contenu visuel dynamique, offrant des applications variées dans la production cinématographique, les jeux vidéo et l'éducation. Cependant, leurs performances dans des scénarios réels ne répondent souvent pas aux attentes des utilisateurs. Une raison clé est que ces modèles n'ont pas été entraînés sur des vidéos liées à certains sujets que les utilisateurs souhaitent créer. Dans cet article, nous proposons VideoUFO, le premier ensemble de données vidéo spécifiquement conçu pour s'aligner sur les centres d'intérêt des utilisateurs dans des scénarios réels. En outre, notre VideoUFO présente deux caractéristiques majeures : (1) un chevauchement minimal (0,29 %) avec les ensembles de données vidéo existants, et (2) des vidéos recherchées exclusivement via l'API officielle de YouTube sous licence Creative Commons. Ces deux attributs offrent aux futurs chercheurs une plus grande liberté pour élargir leurs sources d'entraînement. VideoUFO comprend plus de 1,09 million de clips vidéo, chacun accompagné d'une légende courte et d'une description détaillée. Plus précisément, grâce au clustering, nous identifions d'abord 1 291 sujets centrés sur les utilisateurs à partir de l'ensemble de données VidProM, qui contient des millions d'invites texte-vidéo réelles. Ensuite, nous utilisons ces sujets pour récupérer des vidéos sur YouTube, découper les vidéos récupérées en clips, et générer des légendes courtes et détaillées pour chaque clip. Après avoir vérifié les clips par rapport aux sujets spécifiés, nous obtenons environ 1,09 million de clips vidéo. Nos expériences révèlent que (1) les 16 modèles texte-vidéo actuels ne parviennent pas à obtenir des performances cohérentes sur tous les sujets centrés sur les utilisateurs ; et (2) un modèle simple entraîné sur VideoUFO surpasse les autres sur les sujets les moins performants. L'ensemble de données est disponible publiquement à l'adresse https://huggingface.co/datasets/WenhaoWang/VideoUFO sous licence CC BY 4.0.

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.