VideoUFO: テキストからビデオ生成のための大規模ユーザー中心データセット

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

著者: Wenhao Wang, Yi Yang

cs.AI

要旨

テキストから動画を生成するモデルは、テキストプロンプトを動的な視覚コンテンツに変換し、映画制作、ゲーム、教育など幅広い応用が可能です。しかし、実際の性能はユーザーの期待に必ずしも応えられていないのが現状です。その主な理由の一つは、ユーザーが作成したいトピックに関連する動画でこれらのモデルが訓練されていないことです。本論文では、現実世界のシナリオにおけるユーザーの焦点に合わせて特別にキュレーションされた初の動画データセット、VideoUFOを提案します。さらに、VideoUFOは以下の特徴を備えています：(1)既存の動画データセットとの重複が最小限（0.29%）であること、(2)YouTubeの公式APIを介してクリエイティブ・コモンズライセンスの下で検索された動画のみを収録していること。これら二つの特徴により、将来の研究者はより自由にトレーニングソースを拡大することが可能になります。VideoUFOは、110万以上の動画クリップで構成され、各クリップには簡潔なキャプションと詳細な説明文が付属しています。具体的には、クラスタリングを通じて、大規模なテキストから動画を生成するプロンプトデータセットであるVidProMから1,291のユーザー焦点トピックを特定し、これらのトピックを使用してYouTubeから動画を検索し、検索された動画をクリップに分割し、各クリップに対して簡潔なキャプションと詳細な説明文を生成します。指定されたトピックでクリップを検証した後、約110万の動画クリップが残ります。実験結果から、(1)現在の16のテキストから動画を生成するモデルは、すべてのユーザー焦点トピックで一貫した性能を発揮しないこと、(2)VideoUFOで訓練されたシンプルなモデルが、最も性能の低いトピックにおいて他のモデルを上回ることが明らかになりました。このデータセットは、CC BY 4.0ライセンスの下でhttps://huggingface.co/datasets/WenhaoWang/VideoUFOで公開されています。

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.