VideoUFO: Ein Millionen-großer, nutzerorientierter Datensatz für die Text-zu-Video-Generierung

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

Autoren: Wenhao Wang, Yi Yang

cs.AI

Zusammenfassung

Text-to-Video-Generativmodelle wandeln Textanweisungen in dynamische visuelle Inhalte um und bieten vielfältige Anwendungsmöglichkeiten in der Filmproduktion, im Gaming und im Bildungsbereich. Allerdings bleibt ihre Leistung in der Praxis oft hinter den Erwartungen der Nutzer zurück. Ein Hauptgrund dafür ist, dass diese Modelle nicht mit Videos zu bestimmten Themen trainiert wurden, die Nutzer erstellen möchten. In diesem Artikel stellen wir VideoUFO vor, den ersten Video-Datensatz, der speziell darauf ausgerichtet ist, den Fokus der Nutzer in realen Szenarien abzubilden. Darüber hinaus zeichnet sich VideoUFO durch folgende Merkmale aus: (1) eine minimale Überschneidung (0,29 %) mit bestehenden Video-Datensätzen und (2) Videos, die ausschließlich über die offizielle YouTube-API unter der Creative-Commons-Lizenz gesucht wurden. Diese beiden Eigenschaften bieten zukünftigen Forschern mehr Freiheit, ihre Trainingsquellen zu erweitern. VideoUFO umfasst über 1,09 Millionen Videoclips, die jeweils mit einer kurzen und einer detaillierten Beschreibung versehen sind. Konkret identifizieren wir durch Clustering zunächst 1.291 nutzerfokussierte Themen aus dem millionenfachen realen Text-to-Video-Prompt-Datensatz VidProM. Anschließend verwenden wir diese Themen, um Videos von YouTube abzurufen, die abgerufenen Videos in Clips zu unterteilen und sowohl kurze als auch detaillierte Beschreibungen für jeden Clip zu generieren. Nach der Überprüfung der Clips mit den spezifizierten Themen bleiben etwa 1,09 Millionen Videoclips übrig. Unsere Experimente zeigen, dass (1) aktuelle 16 Text-to-Video-Modelle keine konsistente Leistung über alle nutzerfokussierten Themen hinweg erzielen und (2) ein einfaches Modell, das auf VideoUFO trainiert wurde, bei den am schlechtesten abschneidenden Themen besser abschneidet als andere. Der Datensatz ist öffentlich unter https://huggingface.co/datasets/WenhaoWang/VideoUFO unter der CC BY 4.0-Lizenz verfügbar.

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.