TIP-I2V: Een Miljoenen-Schaal Realistische Tekst- en Afbeeldingspromptdataset voor Afbeelding-naar-Video Generatie

TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation

November 5, 2024

Auteurs: Wenhao Wang, Yi Yang

cs.AI

Samenvatting

Videogeneratiemodellen veroorzaken een revolutie in contentcreatie, waarbij beeld-naar-videomodellen steeds meer aandacht trekken vanwege hun verbeterde bestuurbaarheid, visuele consistentie en praktische toepassingen. Ondanks hun populariteit zijn deze modellen echter afhankelijk van door gebruikers verstrekte tekst- en beeldprompts, en er bestaat momenteel geen toegewijd dataset voor het bestuderen van deze prompts. In dit artikel introduceren we TIP-I2V, de eerste grootschalige dataset met meer dan 1,70 miljoen unieke door gebruikers verstrekte tekst- en beeldprompts, specifiek voor beeld-naar-videogeneratie. Daarnaast bieden we de corresponderende gegenereerde video's van vijf state-of-the-art beeld-naar-videomodellen. We beginnen met het schetsen van het tijdrovende en kostbare proces van het samenstellen van deze grootschalige dataset. Vervolgens vergelijken we TIP-I2V met twee populaire promptdatasets, VidProM (tekst-naar-video) en DiffusionDB (tekst-naar-beeld), waarbij we verschillen in zowel basis- als semantische informatie belichten. Deze dataset maakt vooruitgang mogelijk in beeld-naar-video-onderzoek. Om bijvoorbeeld betere modellen te ontwikkelen, kunnen onderzoekers de prompts in TIP-I2V gebruiken om gebruikersvoorkeuren te analyseren en de multidimensionale prestaties van hun getrainde modellen te evalueren; en om de veiligheid van modellen te verbeteren, kunnen zij zich richten op het aanpakken van het desinformatieprobleem dat door beeld-naar-videomodellen wordt veroorzaakt. Het nieuwe onderzoek dat door TIP-I2V wordt geïnspireerd en de verschillen met bestaande datasets benadrukken het belang van een gespecialiseerde beeld-naar-videopromptdataset. Het project is openbaar toegankelijk op https://tip-i2v.github.io.

English

Video generation models are revolutionizing content creation, with image-to-video models drawing increasing attention due to their enhanced controllability, visual consistency, and practical applications. However, despite their popularity, these models rely on user-provided text and image prompts, and there is currently no dedicated dataset for studying these prompts. In this paper, we introduce TIP-I2V, the first large-scale dataset of over 1.70 million unique user-provided Text and Image Prompts specifically for Image-to-Video generation. Additionally, we provide the corresponding generated videos from five state-of-the-art image-to-video models. We begin by outlining the time-consuming and costly process of curating this large-scale dataset. Next, we compare TIP-I2V to two popular prompt datasets, VidProM (text-to-video) and DiffusionDB (text-to-image), highlighting differences in both basic and semantic information. This dataset enables advancements in image-to-video research. For instance, to develop better models, researchers can use the prompts in TIP-I2V to analyze user preferences and evaluate the multi-dimensional performance of their trained models; and to enhance model safety, they may focus on addressing the misinformation issue caused by image-to-video models. The new research inspired by TIP-I2V and the differences with existing datasets emphasize the importance of a specialized image-to-video prompt dataset. The project is publicly available at https://tip-i2v.github.io.