Predicción de Video Egocéntrico con Condicionamiento de Cuerpo Completo
Whole-Body Conditioned Egocentric Video Prediction
June 26, 2025
Autores: Yutong Bai, Danny Tran, Amir Bar, Yann LeCun, Trevor Darrell, Jitendra Malik
cs.AI
Resumen
Entrenamos modelos para Predecir Video Egocéntrico a partir de Acciones Humanas (PEVA), dados el video pasado y una acción representada por la pose corporal relativa en 3D. Al condicionar las trayectorias de poses cinemáticas, estructuradas por la jerarquía de articulaciones del cuerpo, nuestro modelo aprende a simular cómo las acciones físicas humanas moldean el entorno desde un punto de vista en primera persona. Entrenamos un transformador de difusión condicional autorregresivo en Nymeria, un conjunto de datos a gran escala de video egocéntrico y captura de poses corporales del mundo real. Además, diseñamos un protocolo de evaluación jerárquico con tareas de dificultad creciente, permitiendo un análisis exhaustivo de las capacidades de predicción y control encarnado del modelo. Nuestro trabajo representa un intento inicial de abordar los desafíos de modelar entornos complejos del mundo real y comportamientos de agentes encarnados mediante la predicción de video desde la perspectiva de un ser humano.
English
We train models to Predict Ego-centric Video from human Actions (PEVA), given
the past video and an action represented by the relative 3D body pose. By
conditioning on kinematic pose trajectories, structured by the joint hierarchy
of the body, our model learns to simulate how physical human actions shape the
environment from a first-person point of view. We train an auto-regressive
conditional diffusion transformer on Nymeria, a large-scale dataset of
real-world egocentric video and body pose capture. We further design a
hierarchical evaluation protocol with increasingly challenging tasks, enabling
a comprehensive analysis of the model's embodied prediction and control
abilities. Our work represents an initial attempt to tackle the challenges of
modeling complex real-world environments and embodied agent behaviors with
video prediction from the perspective of a human.