VideoUFO: Un Conjunto de Datos a Gran Escala Centrado en el Usuario para la Generación de Texto a Video

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

Autores: Wenhao Wang, Yi Yang

cs.AI

Resumen

Los modelos generativos de texto a video convierten indicaciones textuales en contenido visual dinámico, ofreciendo aplicaciones de amplio alcance en producción cinematográfica, videojuegos y educación. Sin embargo, su rendimiento en el mundo real a menudo no cumple con las expectativas de los usuarios. Una razón clave es que estos modelos no han sido entrenados con videos relacionados con algunos temas que los usuarios desean crear. En este artículo, proponemos VideoUFO, el primer conjunto de datos de video específicamente curado para alinearse con el enfoque de los usuarios en escenarios del mundo real. Además, nuestro VideoUFO también presenta: (1) un solapamiento mínimo (0.29%) con conjuntos de datos de video existentes, y (2) videos buscados exclusivamente a través de la API oficial de YouTube bajo la licencia Creative Commons. Estos dos atributos brindan a los futuros investigadores mayor libertad para ampliar sus fuentes de entrenamiento. VideoUFO comprende más de 1.09 millones de clips de video, cada uno emparejado con una descripción breve y detallada. Específicamente, mediante clustering, primero identificamos 1,291 temas de interés para los usuarios a partir del conjunto de datos de indicaciones de texto a video a gran escala, VidProM. Luego, utilizamos estos temas para recuperar videos de YouTube, dividimos los videos recuperados en clips y generamos descripciones breves y detalladas para cada clip. Después de verificar los clips con los temas especificados, nos quedamos con aproximadamente 1.09 millones de clips de video. Nuestros experimentos revelan que (1) los 16 modelos actuales de texto a video no logran un rendimiento consistente en todos los temas de interés para los usuarios; y (2) un modelo simple entrenado en VideoUFO supera a otros en los temas con peor rendimiento. El conjunto de datos está disponible públicamente en https://huggingface.co/datasets/WenhaoWang/VideoUFO bajo la licencia CC BY 4.0.

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.