TIP-I2V: Eine Millionenskala-Dataset mit realen Text- und Bildprompts für die Bild-zu-Video-Generierung

TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation

November 5, 2024

Autoren: Wenhao Wang, Yi Yang

cs.AI

Zusammenfassung

Videogenerierungsmodelle revolutionieren die Inhaltserstellung, wobei Bild-zu-Video-Modelle aufgrund ihrer verbesserten Steuerbarkeit, visuellen Konsistenz und praktischen Anwendungen zunehmend Aufmerksamkeit erregen. Trotz ihrer Popularität basieren diese Modelle jedoch auf benutzerbereitgestellten Text- und Bildprompts, und es gibt derzeit keinen speziellen Datensatz zur Untersuchung dieser Prompts. In diesem Artikel stellen wir TIP-I2V vor, den ersten groß angelegten Datensatz mit über 1,70 Millionen einzigartigen, benutzerbereitgestellten Text- und Bildprompts speziell für die Bild-zu-Video-Generierung. Zusätzlich liefern wir die entsprechenden generierten Videos von fünf state-of-the-art Bild-zu-Video-Modellen. Wir beginnen mit der Darstellung des zeitaufwändigen und kostspieligen Prozesses der Zusammenstellung dieses groß angelegten Datensatzes. Anschließend vergleichen wir TIP-I2V mit zwei beliebten Prompt-Datensätzen, VidProM (Text-zu-Video) und DiffusionDB (Text-zu-Bild), und heben Unterschiede in grundlegenden und semantischen Informationen hervor. Dieser Datensatz ermöglicht Fortschritte in der Bild-zu-Video-Forschung. Beispielsweise können Forscher die Prompts in TIP-I2V nutzen, um Benutzerpräferenzen zu analysieren und die multidimensionale Leistung ihrer trainierten Modelle zu bewerten, um bessere Modelle zu entwickeln; und um die Modellsicherheit zu verbessern, können sie sich darauf konzentrieren, das Problem der Fehlinformationen, das durch Bild-zu-Video-Modelle verursacht wird, anzugehen. Die durch TIP-I2V inspirierten neuen Forschungsansätze und die Unterschiede zu bestehenden Datensätzen unterstreichen die Bedeutung eines spezialisierten Bild-zu-Video-Prompt-Datensatzes. Das Projekt ist öffentlich verfügbar unter https://tip-i2v.github.io.

English

Video generation models are revolutionizing content creation, with image-to-video models drawing increasing attention due to their enhanced controllability, visual consistency, and practical applications. However, despite their popularity, these models rely on user-provided text and image prompts, and there is currently no dedicated dataset for studying these prompts. In this paper, we introduce TIP-I2V, the first large-scale dataset of over 1.70 million unique user-provided Text and Image Prompts specifically for Image-to-Video generation. Additionally, we provide the corresponding generated videos from five state-of-the-art image-to-video models. We begin by outlining the time-consuming and costly process of curating this large-scale dataset. Next, we compare TIP-I2V to two popular prompt datasets, VidProM (text-to-video) and DiffusionDB (text-to-image), highlighting differences in both basic and semantic information. This dataset enables advancements in image-to-video research. For instance, to develop better models, researchers can use the prompts in TIP-I2V to analyze user preferences and evaluate the multi-dimensional performance of their trained models; and to enhance model safety, they may focus on addressing the misinformation issue caused by image-to-video models. The new research inspired by TIP-I2V and the differences with existing datasets emphasize the importance of a specialized image-to-video prompt dataset. The project is publicly available at https://tip-i2v.github.io.