ExoActor: Экзоцентрическое видеогенерация как обобщаемое интерактивное управление гуманоидом

ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

April 30, 2026

Авторы: Yanghao Zhou, Jingyu Ma, Yibo Peng, Zhenguo Sun, Yu Bai, Börje F. Karlsson

cs.AI

Аннотация

Системы управления гуманоидными роботами достигли значительного прогресса в последние годы, однако моделирование плавного поведения, насыщенного взаимодействиями между роботом, окружающей средой и релевантными для задачи объектами, остается фундаментальной проблемой. Эта сложность возникает из-за необходимости совместного учета пространственного контекста, временной динамики, действий робота и целевого замысла задачи в крупном масштабе, что плохо согласуется с традиционными подходами обучения с учителем. Мы предлагаем ExoActor — новую архитектуру, которая использует способности к обобщению моделей генерации видео большого масштаба для решения данной проблемы. Ключевая идея ExoActor заключается в использовании генерации видео от третьего лица в качестве унифицированного интерфейса для моделирования динамики взаимодействий. Получив инструкцию задачи и контекст сцены, ExoActor синтезирует правдоподобные процессы выполнения, которые неявно кодируют согласованные взаимодействия между роботом, средой и объектами. Затем такой видеовыход преобразуется в исполняемое поведение гуманоида с помощью конвейера, который оценивает движение человека и исполняет его через универсальный контроллер движений, порождая обусловленную задачей последовательность действий. Для проверки предложенной архитектуры мы реализовали ее в виде сквозной системы и продемонстрировали ее способность к обобщению в новых сценариях без сбора дополнительных реальных данных. В заключение мы обсуждаем ограничения текущей реализации и намечаем перспективные направления для будущих исследований, показывая, как ExoActor обеспечивает масштабируемый подход к моделированию насыщенного взаимодействиями поведения гуманоидов, потенциально открывая новый путь для использования генеративных моделей в развитии универсального искусственного интеллекта гуманоидов.

English

Humanoid control systems have made significant progress in recent years, yet modeling fluent interaction-rich behavior between a robot, its surrounding environment, and task-relevant objects remains a fundamental challenge. This difficulty arises from the need to jointly capture spatial context, temporal dynamics, robot actions, and task intent at scale, which is a poor match to conventional supervision. We propose ExoActor, a novel framework that leverages the generalization capabilities of large-scale video generation models to address this problem. The key insight in ExoActor is to use third-person video generation as a unified interface for modeling interaction dynamics. Given a task instruction and scene context, ExoActor synthesizes plausible execution processes that implicitly encode coordinated interactions between robot, environment, and objects. Such video output is then transformed into executable humanoid behaviors through a pipeline that estimates human motion and executes it via a general motion controller, yielding a task-conditioned behavior sequence. To validate the proposed framework, we implement it as an end-to-end system and demonstrate its generalization to new scenarios without additional real-world data collection. Furthermore, we conclude by discussing limitations of the current implementation and outlining promising directions for future research, illustrating how ExoActor provides a scalable approach to modeling interaction-rich humanoid behaviors, potentially opening a new avenue for generative models to advance general-purpose humanoid intelligence.