TIP-I2V: Um Conjunto de Dados em Escala Milionária com Prompts Reais de Texto e Imagem para Geração de Imagem para Vídeo
TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation
November 5, 2024
Autores: Wenhao Wang, Yi Yang
cs.AI
Resumo
Os modelos de geração de vídeo estão revolucionando a criação de conteúdo, com os modelos de imagem-para-vídeo a atrair atenção crescente devido à sua maior controlabilidade, consistência visual e aplicações práticas. No entanto, apesar da sua popularidade, estes modelos dependem de instruções de texto e imagem fornecidas pelo utilizador, e atualmente não existe nenhum conjunto de dados dedicado ao estudo dessas instruções. Neste artigo, apresentamos o TIP-I2V, o primeiro conjunto de dados em larga escala com mais de 1,70 milhões de instruções de Texto e Imagem únicas fornecidas por utilizadores, especificamente para geração de Imagem-para-Vídeo. Adicionalmente, fornecemos os vídeos gerados correspondentes de cinco modelos estado da arte de imagem-para-vídeo. Começamos por descrever o processo moroso e dispendioso de curadoria deste conjunto de dados em larga escala. De seguida, comparamos o TIP-I2V com dois conjuntos de dados de instruções populares, VidProM (texto-para-vídeo) e DiffusionDB (texto-para-imagem), destacando diferenças tanto a nível de informação básica como semântica. Este conjunto de dados possibilita avanços na investigação de imagem-para-vídeo. Por exemplo, para desenvolver modelos melhores, os investigadores podem usar as instruções no TIP-I2V para analisar as preferências dos utilizadores e avaliar o desempenho multidimensional dos seus modelos treinados; e para melhorar a segurança dos modelos, podem focar-se em resolver o problema de desinformação causado pelos modelos de imagem-para-vídeo. A nova investigação inspirada pelo TIP-I2V e as diferenças com conjuntos de dados existentes enfatizam a importância de um conjunto de dados de instruções especializado em imagem-para-vídeo. O projeto está publicamente disponível em https://tip-i2v.github.io.
English
Video generation models are revolutionizing content creation, with
image-to-video models drawing increasing attention due to their enhanced
controllability, visual consistency, and practical applications. However,
despite their popularity, these models rely on user-provided text and image
prompts, and there is currently no dedicated dataset for studying these
prompts. In this paper, we introduce TIP-I2V, the first large-scale dataset of
over 1.70 million unique user-provided Text and Image Prompts specifically for
Image-to-Video generation. Additionally, we provide the corresponding generated
videos from five state-of-the-art image-to-video models. We begin by outlining
the time-consuming and costly process of curating this large-scale dataset.
Next, we compare TIP-I2V to two popular prompt datasets, VidProM
(text-to-video) and DiffusionDB (text-to-image), highlighting differences in
both basic and semantic information. This dataset enables advancements in
image-to-video research. For instance, to develop better models, researchers
can use the prompts in TIP-I2V to analyze user preferences and evaluate the
multi-dimensional performance of their trained models; and to enhance model
safety, they may focus on addressing the misinformation issue caused by
image-to-video models. The new research inspired by TIP-I2V and the differences
with existing datasets emphasize the importance of a specialized image-to-video
prompt dataset. The project is publicly available at https://tip-i2v.github.io.