EnerVerse-AC: Visualización de Entornos Encarnados con Condición de Acción

EnerVerse-AC: Envisioning Embodied Environments with Action Condition

May 14, 2025

Autores: Yuxin Jiang, Shengcong Chen, Siyuan Huang, Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

Resumen

El aprendizaje por imitación robótica ha evolucionado desde la resolución de tareas estáticas hasta abordar escenarios de interacción dinámica, pero las pruebas y evaluaciones siguen siendo costosas y desafiantes debido a la necesidad de interacción en tiempo real con entornos dinámicos. Proponemos EnerVerse-AC (EVAC), un modelo de mundo condicionado por acciones que genera observaciones visuales futuras basadas en las acciones predichas de un agente, permitiendo inferencias robóticas realistas y controlables. Basándose en arquitecturas previas, EVAC introduce un mecanismo de condicionamiento de acciones de múltiples niveles y una codificación de mapas de rayos para la generación dinámica de imágenes multi-vista, mientras expande los datos de entrenamiento con trayectorias de fallos diversas para mejorar la generalización. Como motor de datos y evaluador, EVAC aumenta las trayectorias recolectadas por humanos en conjuntos de datos diversos y genera observaciones de video realistas condicionadas por acciones para pruebas de políticas, eliminando la necesidad de robots físicos o simulaciones complejas. Este enfoque reduce significativamente los costos mientras mantiene una alta fidelidad en la evaluación de la manipulación robótica. Experimentos extensos validan la efectividad de nuestro método. El código, puntos de control y conjuntos de datos se pueden encontrar en <https://annaj2178.github.io/EnerverseAC.github.io>.

English

Robotic imitation learning has advanced from solving static tasks to addressing dynamic interaction scenarios, but testing and evaluation remain costly and challenging due to the need for real-time interaction with dynamic environments. We propose EnerVerse-AC (EVAC), an action-conditional world model that generates future visual observations based on an agent's predicted actions, enabling realistic and controllable robotic inference. Building on prior architectures, EVAC introduces a multi-level action-conditioning mechanism and ray map encoding for dynamic multi-view image generation while expanding training data with diverse failure trajectories to improve generalization. As both a data engine and evaluator, EVAC augments human-collected trajectories into diverse datasets and generates realistic, action-conditioned video observations for policy testing, eliminating the need for physical robots or complex simulations. This approach significantly reduces costs while maintaining high fidelity in robotic manipulation evaluation. Extensive experiments validate the effectiveness of our method. Code, checkpoints, and datasets can be found at <https://annaj2178.github.io/EnerverseAC.github.io>.