EnerVerse-AC: Визуализация воплощённых сред с условиями действий

EnerVerse-AC: Envisioning Embodied Environments with Action Condition

May 14, 2025

Авторы: Yuxin Jiang, Shengcong Chen, Siyuan Huang, Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

Аннотация

Роботизированное обучение с подражанием продвинулось от решения статических задач к обработке динамических сценариев взаимодействия, однако тестирование и оценка остаются дорогостоящими и сложными из-за необходимости взаимодействия в реальном времени с динамическими средами. Мы предлагаем EnerVerse-AC (EVAC) — условную модель мира, которая генерирует будущие визуальные наблюдения на основе предсказанных действий агента, обеспечивая реалистичный и управляемый вывод для роботов. Развивая предыдущие архитектуры, EVAC вводит многоуровневый механизм условного действия и кодирование лучевых карт для генерации динамических изображений с нескольких ракурсов, одновременно расширяя обучающие данные с помощью разнообразных траекторий сбоев для улучшения обобщения. Выступая как в роли генератора данных, так и в роли оценщика, EVAC дополняет траектории, собранные человеком, в разнообразные наборы данных и создает реалистичные видеонаблюдения, зависящие от действий, для тестирования политик, устраняя необходимость в физических роботах или сложных симуляциях. Этот подход значительно снижает затраты, сохраняя при этом высокую точность в оценке манипуляций роботов. Многочисленные эксперименты подтверждают эффективность нашего метода. Код, контрольные точки и наборы данных доступны по адресу <https://annaj2178.github.io/EnerverseAC.github.io>.

English

Robotic imitation learning has advanced from solving static tasks to addressing dynamic interaction scenarios, but testing and evaluation remain costly and challenging due to the need for real-time interaction with dynamic environments. We propose EnerVerse-AC (EVAC), an action-conditional world model that generates future visual observations based on an agent's predicted actions, enabling realistic and controllable robotic inference. Building on prior architectures, EVAC introduces a multi-level action-conditioning mechanism and ray map encoding for dynamic multi-view image generation while expanding training data with diverse failure trajectories to improve generalization. As both a data engine and evaluator, EVAC augments human-collected trajectories into diverse datasets and generates realistic, action-conditioned video observations for policy testing, eliminating the need for physical robots or complex simulations. This approach significantly reduces costs while maintaining high fidelity in robotic manipulation evaluation. Extensive experiments validate the effectiveness of our method. Code, checkpoints, and datasets can be found at <https://annaj2178.github.io/EnerverseAC.github.io>.