ExoActor: Geração de Vídeo Exocêntrica como Controle Generalizável de Humanoides Interativos

ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

April 30, 2026

Autores: Yanghao Zhou, Jingyu Ma, Yibo Peng, Zhenguo Sun, Yu Bai, Börje F. Karlsson

cs.AI

Resumo

Os sistemas de controle de humanoides têm progredido significativamente nos últimos anos, mas a modelagem de comportamentos fluidos e ricos em interação entre um robô, seu ambiente circundante e objetos relevantes para a tarefa continua sendo um desafio fundamental. Esta dificuldade surge da necessidade de capturar conjuntamente contexto espacial, dinâmicas temporais, ações do robô e intenção da tarefa em escala, o que se ajusta mal à supervisão convencional. Propomos o ExoActor, uma estrutura inovadora que aproveita as capacidades de generalização de modelos de geração de vídeo em grande escala para abordar este problema. A ideia central do ExoActor é usar a geração de vídeo em terceira pessoa como uma interface unificada para modelar dinâmicas de interação. Dada uma instrução de tarefa e o contexto da cena, o ExoActor sintetiza processos de execução plausíveis que codificam implicitamente interações coordenadas entre robô, ambiente e objetos. Esse vídeo gerado é então transformado em comportamentos humanoides executáveis por meio de um pipeline que estima o movimento humano e o executa através de um controlador de movimento geral, produzindo uma sequência de comportamentos condicionada pela tarefa. Para validar a estrutura proposta, implementamo-la como um sistema de ponta a ponta e demonstramos sua generalização para novos cenários sem necessidade de coleta adicional de dados do mundo real. Além disso, concluímos discutindo as limitações da implementação atual e delineando direções promissoras para pesquisas futuras, ilustrando como o ExoActor fornece uma abordagem escalável para modelar comportamentos humanoides ricos em interação, potencialmente abrindo uma nova via para que modelos generativos avancem a inteligência de humanoides de propósito geral.

English

Humanoid control systems have made significant progress in recent years, yet modeling fluent interaction-rich behavior between a robot, its surrounding environment, and task-relevant objects remains a fundamental challenge. This difficulty arises from the need to jointly capture spatial context, temporal dynamics, robot actions, and task intent at scale, which is a poor match to conventional supervision. We propose ExoActor, a novel framework that leverages the generalization capabilities of large-scale video generation models to address this problem. The key insight in ExoActor is to use third-person video generation as a unified interface for modeling interaction dynamics. Given a task instruction and scene context, ExoActor synthesizes plausible execution processes that implicitly encode coordinated interactions between robot, environment, and objects. Such video output is then transformed into executable humanoid behaviors through a pipeline that estimates human motion and executes it via a general motion controller, yielding a task-conditioned behavior sequence. To validate the proposed framework, we implement it as an end-to-end system and demonstrate its generalization to new scenarios without additional real-world data collection. Furthermore, we conclude by discussing limitations of the current implementation and outlining promising directions for future research, illustrating how ExoActor provides a scalable approach to modeling interaction-rich humanoid behaviors, potentially opening a new avenue for generative models to advance general-purpose humanoid intelligence.