ExoActor: Generazione di Video Esocentrici come Controllo Umanoide Interattivo Generalizzabile

ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

April 30, 2026

Autori: Yanghao Zhou, Jingyu Ma, Yibo Peng, Zhenguo Sun, Yu Bai, Börje F. Karlsson

cs.AI

Abstract

I sistemi di controllo per umanoidi hanno compiuto progressi significativi negli ultimi anni, eppure modellare un comportamento fluido e ricco di interazioni tra un robot, l'ambiente circostante e gli oggetti rilevanti per il compito rimane una sfida fondamentale. Questa difficoltà nasce dalla necessità di catturare congiuntamente, su larga scala, il contesto spaziale, la dinamica temporale, le azioni del robot e l'intento del compito, il che si adatta male alla supervisione convenzionale. Proponiamo ExoActor, un framework innovativo che sfrutta le capacità di generalizzazione dei modelli di generazione video su larga scala per affrontare questo problema. L'intuizione chiave in ExoActor è utilizzare la generazione video in terza persona come interfaccia unificata per modellare la dinamica delle interazioni. Dati un'istruzione di compito e un contesto della scena, ExoActor sintetizza processi di esecuzione plausibili che codificano implicitamente interazioni coordinate tra robot, ambiente e oggetti. Tale output video viene poi trasformato in comportamenti umanoidi eseguibili attraverso una pipeline che stima il movimento umano e lo esegue tramite un controller di movimento generale, producendo una sequenza comportamentale condizionata al compito. Per validare il framework proposto, lo implementiamo come sistema end-to-end e ne dimostriamo la generalizzazione a nuovi scenari senza la necessità di ulteriori raccolte di dati nel mondo reale. In conclusione, discutiamo i limiti dell'implementazione attuale e delineiamo direzioni promettenti per la ricerca futura, illustrando come ExoActor fornisca un approccio scalabile per modellare comportamenti umanoidi ricchi di interazioni, aprendo potenzialmente una nuova strada affinché i modelli generativi possano far avanzare l'intelligenza generale degli umanoidi.

English

Humanoid control systems have made significant progress in recent years, yet modeling fluent interaction-rich behavior between a robot, its surrounding environment, and task-relevant objects remains a fundamental challenge. This difficulty arises from the need to jointly capture spatial context, temporal dynamics, robot actions, and task intent at scale, which is a poor match to conventional supervision. We propose ExoActor, a novel framework that leverages the generalization capabilities of large-scale video generation models to address this problem. The key insight in ExoActor is to use third-person video generation as a unified interface for modeling interaction dynamics. Given a task instruction and scene context, ExoActor synthesizes plausible execution processes that implicitly encode coordinated interactions between robot, environment, and objects. Such video output is then transformed into executable humanoid behaviors through a pipeline that estimates human motion and executes it via a general motion controller, yielding a task-conditioned behavior sequence. To validate the proposed framework, we implement it as an end-to-end system and demonstrate its generalization to new scenarios without additional real-world data collection. Furthermore, we conclude by discussing limitations of the current implementation and outlining promising directions for future research, illustrating how ExoActor provides a scalable approach to modeling interaction-rich humanoid behaviors, potentially opening a new avenue for generative models to advance general-purpose humanoid intelligence.