TIP-I2V: Un Conjunto de Datos a Escala Millonaria con Indicaciones Reales de Texto e Imagen para la Generación de Imagen a Video

TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation

November 5, 2024

Autores: Wenhao Wang, Yi Yang

cs.AI

Resumen

Los modelos de generación de vídeo están revolucionando la creación de contenidos, y los modelos de imagen a vídeo están atrayendo una atención creciente debido a su mayor controlabilidad, consistencia visual y aplicaciones prácticas. Sin embargo, a pesar de su popularidad, estos modelos dependen de indicaciones (prompts) de texto e imagen proporcionadas por el usuario, y actualmente no existe un conjunto de datos dedicado para estudiar estas indicaciones. En este artículo, presentamos TIP-I2V, el primer conjunto de datos a gran escala con más de 1,70 millones de indicaciones de texto e imagen únicas proporcionadas por usuarios, específicamente para la generación de imagen a vídeo. Adicionalmente, proporcionamos los vídeos generados correspondientes a partir de cinco modelos de última generación de imagen a vídeo. Comenzamos describiendo el proceso, que consume mucho tiempo y es costoso, de recopilar este conjunto de datos a gran escala. A continuación, comparamos TIP-I2V con dos conjuntos de datos de indicaciones populares, VidProM (texto a vídeo) y DiffusionDB (texto a imagen), destacando las diferencias tanto en información básica como semántica. Este conjunto de datos permite avances en la investigación de imagen a vídeo. Por ejemplo, para desarrollar mejores modelos, los investigadores pueden utilizar las indicaciones en TIP-I2V para analizar las preferencias de los usuarios y evaluar el rendimiento multidimensional de sus modelos entrenados; y para mejorar la seguridad de los modelos, pueden centrarse en abordar el problema de la desinformación causado por los modelos de imagen a vídeo. La nueva investigación inspirada por TIP-I2V y las diferencias con los conjuntos de datos existentes enfatizan la importancia de un conjunto de datos de indicaciones especializado para imagen a vídeo. El proyecto está disponible públicamente en https://tip-i2v.github.io.

English

Video generation models are revolutionizing content creation, with image-to-video models drawing increasing attention due to their enhanced controllability, visual consistency, and practical applications. However, despite their popularity, these models rely on user-provided text and image prompts, and there is currently no dedicated dataset for studying these prompts. In this paper, we introduce TIP-I2V, the first large-scale dataset of over 1.70 million unique user-provided Text and Image Prompts specifically for Image-to-Video generation. Additionally, we provide the corresponding generated videos from five state-of-the-art image-to-video models. We begin by outlining the time-consuming and costly process of curating this large-scale dataset. Next, we compare TIP-I2V to two popular prompt datasets, VidProM (text-to-video) and DiffusionDB (text-to-image), highlighting differences in both basic and semantic information. This dataset enables advancements in image-to-video research. For instance, to develop better models, researchers can use the prompts in TIP-I2V to analyze user preferences and evaluate the multi-dimensional performance of their trained models; and to enhance model safety, they may focus on addressing the misinformation issue caused by image-to-video models. The new research inspired by TIP-I2V and the differences with existing datasets emphasize the importance of a specialized image-to-video prompt dataset. The project is publicly available at https://tip-i2v.github.io.