VideoUFO: Um Conjunto de Dados em Escala de Milhões Focado no Usuário para Geração de Texto para Vídeo

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

Autores: Wenhao Wang, Yi Yang

cs.AI

Resumo

Modelos generativos de texto para vídeo convertem prompts textuais em conteúdo visual dinâmico, oferecendo aplicações abrangentes na produção cinematográfica, jogos e educação. No entanto, seu desempenho no mundo real frequentemente fica aquém das expectativas dos usuários. Uma razão fundamental é que esses modelos não foram treinados com vídeos relacionados a alguns tópicos que os usuários desejam criar. Neste artigo, propomos o VideoUFO, o primeiro conjunto de dados de vídeo especificamente curado para alinhar-se ao foco dos usuários em cenários do mundo real. Além disso, nosso VideoUFO também apresenta: (1) sobreposição mínima (0,29%) com conjuntos de dados de vídeo existentes e (2) vídeos pesquisados exclusivamente por meio da API oficial do YouTube sob a licença Creative Commons. Esses dois atributos fornecem aos futuros pesquisadores maior liberdade para ampliar suas fontes de treinamento. O VideoUFO compreende mais de 1,09 milhão de clipes de vídeo, cada um acompanhado de uma legenda breve e uma descrição detalhada. Especificamente, por meio de clustering, identificamos primeiro 1.291 tópicos focados no usuário a partir do conjunto de dados de prompts de texto para vídeo em larga escala, VidProM. Em seguida, usamos esses tópicos para recuperar vídeos do YouTube, dividimos os vídeos recuperados em clipes e geramos legendas breves e detalhadas para cada clipe. Após verificar os clipes com os tópicos especificados, restam cerca de 1,09 milhão de clipes de vídeo. Nossos experimentos revelam que (1) os 16 modelos atuais de texto para vídeo não alcançam desempenho consistente em todos os tópicos focados no usuário; e (2) um modelo simples treinado no VideoUFO supera outros nos tópicos de pior desempenho. O conjunto de dados está publicamente disponível em https://huggingface.co/datasets/WenhaoWang/VideoUFO sob a licença CC BY 4.0.

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.