EgoVid-5M: Um Conjunto de Dados de Ação em Vídeo em Grande Escala para Geração de Vídeo Egocêntrico
EgoVid-5M: A Large-Scale Video-Action Dataset for Egocentric Video Generation
November 13, 2024
Autores: Xiaofeng Wang, Kang Zhao, Feng Liu, Jiayu Wang, Guosheng Zhao, Xiaoyi Bao, Zheng Zhu, Yingya Zhang, Xingang Wang
cs.AI
Resumo
A geração de vídeos tem surgido como uma ferramenta promissora para simulação de mundo, aproveitando dados visuais para replicar ambientes do mundo real. Dentro deste contexto, a geração de vídeos egocêntricos, que se concentra na perspectiva humana, possui um potencial significativo para aprimorar aplicações em realidade virtual, realidade aumentada e jogos. No entanto, a geração de vídeos egocêntricos apresenta desafios substanciais devido à natureza dinâmica dos pontos de vista egocêntricos, à diversidade intricada de ações e à variedade complexa de cenas encontradas. Conjuntos de dados existentes são inadequados para lidar eficazmente com esses desafios. Para preencher essa lacuna, apresentamos o EgoVid-5M, o primeiro conjunto de dados de alta qualidade especificamente elaborado para geração de vídeos egocêntricos. O EgoVid-5M abrange 5 milhões de clipes de vídeo egocêntricos e é enriquecido com anotações detalhadas de ações, incluindo controle cinemático refinado e descrições textuais de alto nível. Para garantir a integridade e usabilidade do conjunto de dados, implementamos um sofisticado pipeline de limpeza de dados projetado para manter a consistência de quadros, coerência de ações e suavidade de movimento sob condições egocêntricas. Além disso, introduzimos o EgoDreamer, capaz de gerar vídeos egocêntricos impulsionados simultaneamente por descrições de ações e sinais de controle cinemático. O conjunto de dados EgoVid-5M, as anotações de ações associadas e todos os metadados de limpeza de dados serão disponibilizados para o avanço da pesquisa em geração de vídeos egocêntricos.
English
Video generation has emerged as a promising tool for world simulation,
leveraging visual data to replicate real-world environments. Within this
context, egocentric video generation, which centers on the human perspective,
holds significant potential for enhancing applications in virtual reality,
augmented reality, and gaming. However, the generation of egocentric videos
presents substantial challenges due to the dynamic nature of egocentric
viewpoints, the intricate diversity of actions, and the complex variety of
scenes encountered. Existing datasets are inadequate for addressing these
challenges effectively. To bridge this gap, we present EgoVid-5M, the first
high-quality dataset specifically curated for egocentric video generation.
EgoVid-5M encompasses 5 million egocentric video clips and is enriched with
detailed action annotations, including fine-grained kinematic control and
high-level textual descriptions. To ensure the integrity and usability of the
dataset, we implement a sophisticated data cleaning pipeline designed to
maintain frame consistency, action coherence, and motion smoothness under
egocentric conditions. Furthermore, we introduce EgoDreamer, which is capable
of generating egocentric videos driven simultaneously by action descriptions
and kinematic control signals. The EgoVid-5M dataset, associated action
annotations, and all data cleansing metadata will be released for the
advancement of research in egocentric video generation.