Prédiction Égocentrique de Vidéo Conditionnée sur l'Ensemble du Corps
Whole-Body Conditioned Egocentric Video Prediction
June 26, 2025
Auteurs: Yutong Bai, Danny Tran, Amir Bar, Yann LeCun, Trevor Darrell, Jitendra Malik
cs.AI
Résumé
Nous entraînons des modèles pour prédire des vidéos égocentriques à partir des actions humaines (PEVA), en utilisant la vidéo passée et une action représentée par la pose corporelle 3D relative. En conditionnant sur les trajectoires cinématiques des poses, structurées par la hiérarchie articulaire du corps, notre modèle apprend à simuler comment les actions physiques humaines façonnent l'environnement d'un point de vue à la première personne. Nous entraînons un transformateur de diffusion conditionnel auto-régressif sur Nymeria, un ensemble de données à grande échelle de vidéos égocentriques réelles et de captures de poses corporelles. Nous concevons en outre un protocole d'évaluation hiérarchique avec des tâches de difficulté croissante, permettant une analyse approfondie des capacités de prédiction et de contrôle incarnées du modèle. Notre travail représente une première tentative pour relever les défis de la modélisation d'environnements complexes du monde réel et des comportements d'agents incarnés avec la prédiction vidéo du point de vue d'un humain.
English
We train models to Predict Ego-centric Video from human Actions (PEVA), given
the past video and an action represented by the relative 3D body pose. By
conditioning on kinematic pose trajectories, structured by the joint hierarchy
of the body, our model learns to simulate how physical human actions shape the
environment from a first-person point of view. We train an auto-regressive
conditional diffusion transformer on Nymeria, a large-scale dataset of
real-world egocentric video and body pose capture. We further design a
hierarchical evaluation protocol with increasingly challenging tasks, enabling
a comprehensive analysis of the model's embodied prediction and control
abilities. Our work represents an initial attempt to tackle the challenges of
modeling complex real-world environments and embodied agent behaviors with
video prediction from the perspective of a human.