EnerVerse-AC: Immaginare Ambienti Incorporati con Condizione d'Azione

EnerVerse-AC: Envisioning Embodied Environments with Action Condition

May 14, 2025

Autori: Yuxin Jiang, Shengcong Chen, Siyuan Huang, Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

Abstract

L'apprendimento per imitazione robotica è progredito dalla risoluzione di compiti statici alla gestione di scenari di interazione dinamica, ma i test e la valutazione rimangono costosi e impegnativi a causa della necessità di interazione in tempo reale con ambienti dinamici. Proponiamo EnerVerse-AC (EVAC), un modello di mondo condizionato all'azione che genera osservazioni visive future basandosi sulle azioni previste di un agente, consentendo un'inferenza robotica realistica e controllabile. Basandosi su architetture precedenti, EVAC introduce un meccanismo di condizionamento all'azione multi-livello e una codifica della mappa a raggi per la generazione dinamica di immagini multi-vista, ampliando contemporaneamente i dati di allenamento con traiettorie di fallimento diverse per migliorare la generalizzazione. Sia come motore di dati che come valutatore, EVAC amplia le traiettorie raccolte dagli esseri umani in dataset diversificati e genera osservazioni video realistiche e condizionate all'azione per il test delle politiche, eliminando la necessità di robot fisici o simulazioni complesse. Questo approccio riduce significativamente i costi mantenendo un'elevata fedeltà nella valutazione della manipolazione robotica. Esperimenti estesi validano l'efficacia del nostro metodo. Codice, checkpoint e dataset sono disponibili su <https://annaj2178.github.io/EnerverseAC.github.io>.

English

Robotic imitation learning has advanced from solving static tasks to addressing dynamic interaction scenarios, but testing and evaluation remain costly and challenging due to the need for real-time interaction with dynamic environments. We propose EnerVerse-AC (EVAC), an action-conditional world model that generates future visual observations based on an agent's predicted actions, enabling realistic and controllable robotic inference. Building on prior architectures, EVAC introduces a multi-level action-conditioning mechanism and ray map encoding for dynamic multi-view image generation while expanding training data with diverse failure trajectories to improve generalization. As both a data engine and evaluator, EVAC augments human-collected trajectories into diverse datasets and generates realistic, action-conditioned video observations for policy testing, eliminating the need for physical robots or complex simulations. This approach significantly reduces costs while maintaining high fidelity in robotic manipulation evaluation. Extensive experiments validate the effectiveness of our method. Code, checkpoints, and datasets can be found at <https://annaj2178.github.io/EnerverseAC.github.io>.