EgoVid-5M: крупномасштабный набор данных видеоакций для генерации видео от первого лица

EgoVid-5M: A Large-Scale Video-Action Dataset for Egocentric Video Generation

November 13, 2024

Авторы: Xiaofeng Wang, Kang Zhao, Feng Liu, Jiayu Wang, Guosheng Zhao, Xiaoyi Bao, Zheng Zhu, Yingya Zhang, Xingang Wang

cs.AI

Аннотация

Генерация видео стала многообещающим инструментом для моделирования мира, используя визуальные данные для воссоздания реальных сред. В этом контексте эгоцентрическая генерация видео, сосредоточенная на человеческой перспективе, имеет значительный потенциал для улучшения приложений в виртуальной реальности, дополненной реальности и играх. Однако генерация эгоцентрических видео представляет существенные трудности из-за динамичной природы эгоцентрических точек зрения, сложного разнообразия действий и разнообразия сцен. Существующие наборы данных недостаточны для эффективного решения этих проблем. Для заполнения этой пробела мы представляем EgoVid-5M, первый высококачественный набор данных, специально подготовленный для генерации эгоцентрических видео. EgoVid-5M включает в себя 5 миллионов видеороликов с эгоцентрической перспективой и обогащен детальными аннотациями действий, включая детализированный кинематический контроль и высокоуровневые текстовые описания. Для обеспечения целостности и использования набора данных мы реализуем сложный процесс очистки данных, разработанный для поддержания согласованности кадров, последовательности действий и плавности движения в условиях эгоцентрической перспективы. Кроме того, мы представляем EgoDreamer, способный генерировать эгоцентрические видео, управляемые одновременно описаниями действий и сигналами кинематического контроля. Набор данных EgoVid-5M, связанные аннотации действий и все метаданные по очистке данных будут опубликованы для продвижения исследований в области генерации эгоцентрических видео.

English

Video generation has emerged as a promising tool for world simulation, leveraging visual data to replicate real-world environments. Within this context, egocentric video generation, which centers on the human perspective, holds significant potential for enhancing applications in virtual reality, augmented reality, and gaming. However, the generation of egocentric videos presents substantial challenges due to the dynamic nature of egocentric viewpoints, the intricate diversity of actions, and the complex variety of scenes encountered. Existing datasets are inadequate for addressing these challenges effectively. To bridge this gap, we present EgoVid-5M, the first high-quality dataset specifically curated for egocentric video generation. EgoVid-5M encompasses 5 million egocentric video clips and is enriched with detailed action annotations, including fine-grained kinematic control and high-level textual descriptions. To ensure the integrity and usability of the dataset, we implement a sophisticated data cleaning pipeline designed to maintain frame consistency, action coherence, and motion smoothness under egocentric conditions. Furthermore, we introduce EgoDreamer, which is capable of generating egocentric videos driven simultaneously by action descriptions and kinematic control signals. The EgoVid-5M dataset, associated action annotations, and all data cleansing metadata will be released for the advancement of research in egocentric video generation.