ExoActor: 一般化可能なインタラクティブ人型制御としてのエキソセントリック映像生成

ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

April 30, 2026

著者: Yanghao Zhou, Jingyu Ma, Yibo Peng, Zhenguo Sun, Yu Bai, Börje F. Karlsson

cs.AI

要旨

ヒューマノイド制御システムは近年著しい進歩を遂げているが、ロボットと周囲環境、およびタスク関連オブジェクト間の流動的で相互作用豊かな行動のモデリングは、依然として根本的な課題である。この困難は、空間的文脈、時間的ダイナミクス、ロボット動作、タスク意図を大規模に統合的に捉える必要性に起因しており、従来の教師あり学習には不向きな領域である。本論文では、大規模ビデオ生成モデルの汎化能力を活用してこの問題に取り組む新しいフレームワークExoActorを提案する。ExoActorの核心的洞察は、第三者視点のビデオ生成を相互作用ダイナミクスをモデリングする統一インターフェースとして利用することである。タスク指示とシーン文脈が与えられると、ExoActorはロボット・環境・オブジェクト間の協調的な相互作用を暗黙的に符号化した実行プロセスを合成する。このビデオ出力は、人間の動作を推定し汎用モーションコントローラーを介して実行するパイプラインを通じて実行可能なヒューマノイド行動に変換され、タスク条件付きの行動シーケンスを生成する。提案フレームワークを検証するため、エンドツーエンドシステムとして実装し、追加の実世界データ収集なしに新規シナリオへ汎化することを実証する。さらに、現在の実装の限界と将来研究の有望な方向性について議論し、ExoActorが相互作用豊かなヒューマノイド行動をモデリングするスケーラブルなアプローチを提供し、汎用ヒューマノイド知能を進展させるための生成モデルの新たな道筋を開く可能性を示す。

English

Humanoid control systems have made significant progress in recent years, yet modeling fluent interaction-rich behavior between a robot, its surrounding environment, and task-relevant objects remains a fundamental challenge. This difficulty arises from the need to jointly capture spatial context, temporal dynamics, robot actions, and task intent at scale, which is a poor match to conventional supervision. We propose ExoActor, a novel framework that leverages the generalization capabilities of large-scale video generation models to address this problem. The key insight in ExoActor is to use third-person video generation as a unified interface for modeling interaction dynamics. Given a task instruction and scene context, ExoActor synthesizes plausible execution processes that implicitly encode coordinated interactions between robot, environment, and objects. Such video output is then transformed into executable humanoid behaviors through a pipeline that estimates human motion and executes it via a general motion controller, yielding a task-conditioned behavior sequence. To validate the proposed framework, we implement it as an end-to-end system and demonstrate its generalization to new scenarios without additional real-world data collection. Furthermore, we conclude by discussing limitations of the current implementation and outlining promising directions for future research, illustrating how ExoActor provides a scalable approach to modeling interaction-rich humanoid behaviors, potentially opening a new avenue for generative models to advance general-purpose humanoid intelligence.