EnerVerse-AC: アクション条件付きで具現化された環境を構想する

EnerVerse-AC: Envisioning Embodied Environments with Action Condition

May 14, 2025

著者: Yuxin Jiang, Shengcong Chen, Siyuan Huang, Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

要旨

ロボットの模倣学習は、静的なタスクの解決から動的な相互作用シナリオへの対応へと進化してきましたが、動的環境とのリアルタイムな相互作用が必要なため、テストと評価は依然としてコストが高く、課題が多い状況です。本論文では、EnerVerse-AC（EVAC）を提案します。これは、エージェントの予測行動に基づいて将来の視覚的観測を生成するアクション条件付き世界モデルであり、現実的で制御可能なロボット推論を可能にします。既存のアーキテクチャを基盤として、EVACは多段階のアクション条件付けメカニズムと動的なマルチビュー画像生成のためのレイマップエンコーディングを導入し、多様な失敗軌跡をトレーニングデータに追加することで汎化性能を向上させます。データエンジン兼評価ツールとして、EVACは人間が収集した軌跡を多様なデータセットに拡張し、物理的なロボットや複雑なシミュレーションを必要とせずに、現実的なアクション条件付きビデオ観測を生成してポリシーテストを行います。このアプローチは、ロボット操作評価の高忠実度を維持しながら、コストを大幅に削減します。広範な実験により、本手法の有効性が検証されています。コード、チェックポイント、およびデータセットは<https://annaj2178.github.io/EnerverseAC.github.io>で公開されています。

English

Robotic imitation learning has advanced from solving static tasks to addressing dynamic interaction scenarios, but testing and evaluation remain costly and challenging due to the need for real-time interaction with dynamic environments. We propose EnerVerse-AC (EVAC), an action-conditional world model that generates future visual observations based on an agent's predicted actions, enabling realistic and controllable robotic inference. Building on prior architectures, EVAC introduces a multi-level action-conditioning mechanism and ray map encoding for dynamic multi-view image generation while expanding training data with diverse failure trajectories to improve generalization. As both a data engine and evaluator, EVAC augments human-collected trajectories into diverse datasets and generates realistic, action-conditioned video observations for policy testing, eliminating the need for physical robots or complex simulations. This approach significantly reduces costs while maintaining high fidelity in robotic manipulation evaluation. Extensive experiments validate the effectiveness of our method. Code, checkpoints, and datasets can be found at <https://annaj2178.github.io/EnerverseAC.github.io>.