TIP-I2V: 画像から動画生成のための大規模実世界テキスト・画像プロンプトデータセット

TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation

November 5, 2024

著者: Wenhao Wang, Yi Yang

cs.AI

要旨

ビデオ生成モデルはコンテンツ制作に革命をもたらしており、特に画像からビデオを生成するモデルは、その高度な制御性、視覚的一貫性、実用的な応用性から注目を集めています。しかし、これらのモデルはユーザーが提供するテキストや画像プロンプトに依存しており、現在のところ、これらのプロンプトを研究するための専用データセットは存在しません。本論文では、画像からビデオ生成に特化した初の大規模データセットであるTIP-I2Vを紹介します。このデータセットには、170万以上のユニークなユーザー提供のテキストおよび画像プロンプトが含まれており、さらに、5つの最先端画像からビデオ生成モデルによって生成された対応するビデオも提供されています。まず、この大規模データセットを構築するための時間とコストがかかるプロセスを概説します。次に、TIP-I2Vを2つの人気のあるプロンプトデータセット、VidProM（テキストからビデオ）およびDiffusionDB（テキストから画像）と比較し、基本的な情報と意味情報の両方における違いを強調します。このデータセットは、画像からビデオ研究の進展を可能にします。例えば、より優れたモデルを開発するために、研究者はTIP-I2Vのプロンプトを使用してユーザーの嗜好を分析し、訓練されたモデルの多次元的な性能を評価することができます。また、モデルの安全性を向上させるために、画像からビデオモデルによって引き起こされる誤情報の問題に焦点を当てることも可能です。TIP-I2Vによって触発された新たな研究と既存のデータセットとの違いは、画像からビデオプロンプトデータセットの重要性を強調しています。本プロジェクトはhttps://tip-i2v.github.ioで公開されています。

English

Video generation models are revolutionizing content creation, with image-to-video models drawing increasing attention due to their enhanced controllability, visual consistency, and practical applications. However, despite their popularity, these models rely on user-provided text and image prompts, and there is currently no dedicated dataset for studying these prompts. In this paper, we introduce TIP-I2V, the first large-scale dataset of over 1.70 million unique user-provided Text and Image Prompts specifically for Image-to-Video generation. Additionally, we provide the corresponding generated videos from five state-of-the-art image-to-video models. We begin by outlining the time-consuming and costly process of curating this large-scale dataset. Next, we compare TIP-I2V to two popular prompt datasets, VidProM (text-to-video) and DiffusionDB (text-to-image), highlighting differences in both basic and semantic information. This dataset enables advancements in image-to-video research. For instance, to develop better models, researchers can use the prompts in TIP-I2V to analyze user preferences and evaluate the multi-dimensional performance of their trained models; and to enhance model safety, they may focus on addressing the misinformation issue caused by image-to-video models. The new research inspired by TIP-I2V and the differences with existing datasets emphasize the importance of a specialized image-to-video prompt dataset. The project is publicly available at https://tip-i2v.github.io.