EgoVid-5M: Un conjunto de datos de video-acción a gran escala para la generación de video egocéntrico.

EgoVid-5M: A Large-Scale Video-Action Dataset for Egocentric Video Generation

November 13, 2024

Autores: Xiaofeng Wang, Kang Zhao, Feng Liu, Jiayu Wang, Guosheng Zhao, Xiaoyi Bao, Zheng Zhu, Yingya Zhang, Xingang Wang

cs.AI

Resumen

La generación de video ha surgido como una herramienta prometedora para la simulación del mundo, aprovechando datos visuales para replicar entornos del mundo real. Dentro de este contexto, la generación de video egocéntrico, que se centra en la perspectiva humana, tiene un gran potencial para mejorar aplicaciones en realidad virtual, realidad aumentada y juegos. Sin embargo, la generación de videos egocéntricos presenta desafíos sustanciales debido a la naturaleza dinámica de los puntos de vista egocéntricos, la compleja diversidad de acciones y la variedad de escenas encontradas. Los conjuntos de datos existentes son inadecuados para abordar estos desafíos de manera efectiva. Para cerrar esta brecha, presentamos EgoVid-5M, el primer conjunto de datos de alta calidad específicamente seleccionado para la generación de video egocéntrico. EgoVid-5M abarca 5 millones de clips de video egocéntricos y está enriquecido con anotaciones detalladas de acciones, que incluyen un control cinemático detallado y descripciones textuales de alto nivel. Para garantizar la integridad y la usabilidad del conjunto de datos, implementamos un sofisticado proceso de limpieza de datos diseñado para mantener la consistencia de los fotogramas, la coherencia de las acciones y la suavidad del movimiento en condiciones egocéntricas. Además, presentamos EgoDreamer, que es capaz de generar videos egocéntricos impulsados simultáneamente por descripciones de acciones y señales de control cinemático. El conjunto de datos EgoVid-5M, las anotaciones de acciones asociadas y todos los metadatos de limpieza de datos se publicarán para el avance de la investigación en generación de video egocéntrico.

English

Video generation has emerged as a promising tool for world simulation, leveraging visual data to replicate real-world environments. Within this context, egocentric video generation, which centers on the human perspective, holds significant potential for enhancing applications in virtual reality, augmented reality, and gaming. However, the generation of egocentric videos presents substantial challenges due to the dynamic nature of egocentric viewpoints, the intricate diversity of actions, and the complex variety of scenes encountered. Existing datasets are inadequate for addressing these challenges effectively. To bridge this gap, we present EgoVid-5M, the first high-quality dataset specifically curated for egocentric video generation. EgoVid-5M encompasses 5 million egocentric video clips and is enriched with detailed action annotations, including fine-grained kinematic control and high-level textual descriptions. To ensure the integrity and usability of the dataset, we implement a sophisticated data cleaning pipeline designed to maintain frame consistency, action coherence, and motion smoothness under egocentric conditions. Furthermore, we introduce EgoDreamer, which is capable of generating egocentric videos driven simultaneously by action descriptions and kinematic control signals. The EgoVid-5M dataset, associated action annotations, and all data cleansing metadata will be released for the advancement of research in egocentric video generation.