Прогнозирование эгоцентрического видео с учетом состояния всего тела
Whole-Body Conditioned Egocentric Video Prediction
June 26, 2025
Авторы: Yutong Bai, Danny Tran, Amir Bar, Yann LeCun, Trevor Darrell, Jitendra Malik
cs.AI
Аннотация
Мы обучаем модели для прогнозирования эгоцентричного видео на основе действий человека (PEVA), используя прошлое видео и действие, представленное относительной 3D позой тела. Условие на кинематические траектории поз, структурированные иерархией суставов тела, позволяет нашей модели научиться симулировать, как физические действия человека формируют окружающую среду с точки зрения первого лица. Мы обучаем авторегрессивный условный диффузионный трансформер на Nymeria, крупномасштабном наборе данных реального эгоцентричного видео и захвата поз тела. Дополнительно мы разрабатываем иерархический протокол оценки с постепенно усложняющимися задачами, что позволяет провести всесторонний анализ способностей модели к прогнозированию и управлению в контексте воплощенного агента. Наша работа представляет собой начальную попытку решения задач моделирования сложных реальных сред и поведения воплощенных агентов с помощью прогнозирования видео с точки зрения человека.
English
We train models to Predict Ego-centric Video from human Actions (PEVA), given
the past video and an action represented by the relative 3D body pose. By
conditioning on kinematic pose trajectories, structured by the joint hierarchy
of the body, our model learns to simulate how physical human actions shape the
environment from a first-person point of view. We train an auto-regressive
conditional diffusion transformer on Nymeria, a large-scale dataset of
real-world egocentric video and body pose capture. We further design a
hierarchical evaluation protocol with increasingly challenging tasks, enabling
a comprehensive analysis of the model's embodied prediction and control
abilities. Our work represents an initial attempt to tackle the challenges of
modeling complex real-world environments and embodied agent behaviors with
video prediction from the perspective of a human.