TIP-I2V: un dataset su larga scala di prompt reali con testo e immagini per la generazione video da immagini

TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation

November 5, 2024

Autori: Wenhao Wang, Yi Yang

cs.AI

Abstract

I modelli di generazione video stanno rivoluzionando la creazione di contenuti, con i modelli immagine-video che attirano un'attenzione crescente grazie alla loro maggiore controllabilità, coerenza visiva e applicazioni pratiche. Tuttavia, nonostante la loro popolarità, questi modelli si basano su prompt testuali e visivi forniti dall'utente, e attualmente non esiste un dataset dedicato allo studio di questi prompt. In questo articolo presentiamo TIP-I2V, il primo dataset su larga scala con oltre 1,70 milioni di prompt testuali e visivi unici forniti da utenti, specificamente progettato per la generazione immagine-video. Inoltre, forniamo i video generati corrispondenti da cinque modelli immagine-video all'avanguardia. Iniziamo delineando il processo lungo e costoso di cura di questo dataset su larga scala. Successivamente, confrontiamo TIP-I2V con due popolari dataset di prompt, VidProM (testo-video) e DiffusionDB (testo-immagine), evidenziando le differenze sia nelle informazioni di base che in quelle semantiche. Questo dataset consente progressi nella ricerca immagine-video. Ad esempio, per sviluppare modelli migliori, i ricercatori possono utilizzare i prompt in TIP-I2V per analizzare le preferenze degli utenti e valutare le prestazioni multidimensionali dei loro modelli addestrati; e per migliorare la sicurezza dei modelli, potrebbero concentrarsi sulla risoluzione del problema della disinformazione causato dai modelli immagine-video. Le nuove ricerche ispirate da TIP-I2V e le differenze con i dataset esistenti sottolineano l'importanza di un dataset specializzato di prompt per immagine-video. Il progetto è pubblicamente disponibile all'indirizzo https://tip-i2v.github.io.

English

Video generation models are revolutionizing content creation, with image-to-video models drawing increasing attention due to their enhanced controllability, visual consistency, and practical applications. However, despite their popularity, these models rely on user-provided text and image prompts, and there is currently no dedicated dataset for studying these prompts. In this paper, we introduce TIP-I2V, the first large-scale dataset of over 1.70 million unique user-provided Text and Image Prompts specifically for Image-to-Video generation. Additionally, we provide the corresponding generated videos from five state-of-the-art image-to-video models. We begin by outlining the time-consuming and costly process of curating this large-scale dataset. Next, we compare TIP-I2V to two popular prompt datasets, VidProM (text-to-video) and DiffusionDB (text-to-image), highlighting differences in both basic and semantic information. This dataset enables advancements in image-to-video research. For instance, to develop better models, researchers can use the prompts in TIP-I2V to analyze user preferences and evaluate the multi-dimensional performance of their trained models; and to enhance model safety, they may focus on addressing the misinformation issue caused by image-to-video models. The new research inspired by TIP-I2V and the differences with existing datasets emphasize the importance of a specialized image-to-video prompt dataset. The project is publicly available at https://tip-i2v.github.io.