ExoActor: Generación de Vídeo Exocéntrica como Control Humanizable Interactivo Generalizable

ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

April 30, 2026

Autores: Yanghao Zhou, Jingyu Ma, Yibo Peng, Zhenguo Sun, Yu Bai, Börje F. Karlsson

cs.AI

Resumen

Los sistemas de control de humanoides han logrado avances significativos en los últimos años, aunque modelar comportamientos fluidos y ricos en interacciones entre un robot, su entorno y objetos relevantes para la tarea sigue siendo un desafío fundamental. Esta dificultad surge de la necesidad de capturar conjuntamente el contexto espacial, la dinámica temporal, las acciones del robot y la intención de la tarea a gran escala, lo cual se ajusta mal a la supervisión convencional. Proponemos ExoActor, un marco novedoso que aprovecha las capacidades de generalización de los modelos de generación de video a gran escala para abordar este problema. La idea clave en ExoActor es utilizar la generación de video en tercera persona como una interfaz unificada para modelar la dinámica de interacción. Dada una instrucción de tarea y un contexto de escena, ExoActor sintetiza procesos de ejecución plausibles que codifican implícitamente interacciones coordinadas entre el robot, el entorno y los objetos. Dicha salida de video se transforma luego en comportamientos ejecutables de humanoides mediante un pipeline que estima el movimiento humano y lo ejecuta a través de un controlador de movimiento general, produciendo una secuencia de comportamientos condicionada por la tarea. Para validar el marco propuesto, lo implementamos como un sistema integral y demostramos su generalización a nuevos escenarios sin necesidad de recopilación adicional de datos del mundo real. Además, concluimos discutiendo las limitaciones de la implementación actual y esbozando direcciones prometedoras para futuras investigaciones, ilustrando cómo ExoActor proporciona un enfoque escalable para modelar comportamientos de humanoides ricos en interacciones, abriendo potencialmente una nueva vía para que los modelos generativos impulsen la inteligencia generalista de humanoides.

English

Humanoid control systems have made significant progress in recent years, yet modeling fluent interaction-rich behavior between a robot, its surrounding environment, and task-relevant objects remains a fundamental challenge. This difficulty arises from the need to jointly capture spatial context, temporal dynamics, robot actions, and task intent at scale, which is a poor match to conventional supervision. We propose ExoActor, a novel framework that leverages the generalization capabilities of large-scale video generation models to address this problem. The key insight in ExoActor is to use third-person video generation as a unified interface for modeling interaction dynamics. Given a task instruction and scene context, ExoActor synthesizes plausible execution processes that implicitly encode coordinated interactions between robot, environment, and objects. Such video output is then transformed into executable humanoid behaviors through a pipeline that estimates human motion and executes it via a general motion controller, yielding a task-conditioned behavior sequence. To validate the proposed framework, we implement it as an end-to-end system and demonstrate its generalization to new scenarios without additional real-world data collection. Furthermore, we conclude by discussing limitations of the current implementation and outlining promising directions for future research, illustrating how ExoActor provides a scalable approach to modeling interaction-rich humanoid behaviors, potentially opening a new avenue for generative models to advance general-purpose humanoid intelligence.