ExoActor: Exozentrische Videogenerierung als verallgemeinerbare interaktive humanoide Steuerung

ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

April 30, 2026

Autoren: Yanghao Zhou, Jingyu Ma, Yibo Peng, Zhenguo Sun, Yu Bai, Börje F. Karlsson

cs.AI

Zusammenfassung

Humanoide Steuerungssysteme haben in den letzten Jahren bedeutende Fortschritte erzielt, dennoch bleibt die Modellierung flüssiger, interaktionsreicher Verhaltensweisen zwischen einem Roboter, seiner Umgebung und aufgabenrelevanten Objekten eine grundlegende Herausforderung. Diese Schwierigkeit ergibt sich aus der Notwendigkeit, räumlichen Kontext, zeitliche Dynamiken, Roboteraktionen und Aufgabenabsicht gemeinsam und in großem Maßstab zu erfassen, was nur schlecht zu konventioneller Supervision passt. Wir schlagen ExoActor vor, einen neuartigen Rahmen, der die Generalisierungsfähigkeiten großskaliger Videogenerierungsmodelle nutzt, um dieses Problem anzugehen. Die zentrale Erkenntnis in ExoActor ist die Verwendung von Videogenerierung aus der Third-Person-Perspektive als einheitliche Schnittstelle zur Modellierung von Interaktionsdynamiken. Auf Basis einer Aufgabenanweisung und des Szenenkontexts synthetisiert ExoActor plausible Ausführungsprozesse, die koordinierte Interaktionen zwischen Roboter, Umgebung und Objekten implizit kodieren. Diese Videoausgabe wird dann durch eine Pipeline, die menschliche Bewegungen schätzt und sie über einen allgemeinen Bewegungscontroller ausführt, in ausführbare humanoide Verhaltensweisen umgewandelt, was eine aufgabenbedingte Verhaltenssequenz ergibt. Um den vorgeschlagenen Rahmen zu validieren, implementieren wir ihn als ein End-to-End-System und demonstrieren seine Generalisierungsfähigkeit auf neue Szenarien ohne zusätzliche Datenerhebung in der realen Welt. Abschließend diskutieren wir die Grenzen der aktuellen Implementierung und skizzieren vielversprechende Richtungen für zukünftige Forschung, um zu veranschaulichen, wie ExoActor einen skalierbaren Ansatz zur Modellierung interaktionsreicher humanoider Verhaltensweisen bietet und potenziell einen neuen Weg eröffnet, wie generative Modelle die allgemeine humanoide Intelligenz voranbringen können.

English

Humanoid control systems have made significant progress in recent years, yet modeling fluent interaction-rich behavior between a robot, its surrounding environment, and task-relevant objects remains a fundamental challenge. This difficulty arises from the need to jointly capture spatial context, temporal dynamics, robot actions, and task intent at scale, which is a poor match to conventional supervision. We propose ExoActor, a novel framework that leverages the generalization capabilities of large-scale video generation models to address this problem. The key insight in ExoActor is to use third-person video generation as a unified interface for modeling interaction dynamics. Given a task instruction and scene context, ExoActor synthesizes plausible execution processes that implicitly encode coordinated interactions between robot, environment, and objects. Such video output is then transformed into executable humanoid behaviors through a pipeline that estimates human motion and executes it via a general motion controller, yielding a task-conditioned behavior sequence. To validate the proposed framework, we implement it as an end-to-end system and demonstrate its generalization to new scenarios without additional real-world data collection. Furthermore, we conclude by discussing limitations of the current implementation and outlining promising directions for future research, illustrating how ExoActor provides a scalable approach to modeling interaction-rich humanoid behaviors, potentially opening a new avenue for generative models to advance general-purpose humanoid intelligence.