EnerVerse-AC: Het Visualiseren van Belichaamde Omgevingen met Actieconditie

EnerVerse-AC: Envisioning Embodied Environments with Action Condition

May 14, 2025

Auteurs: Yuxin Jiang, Shengcong Chen, Siyuan Huang, Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

Samenvatting

Robotisch imitatieleren is geëvolueerd van het oplossen van statische taken naar het aanpakken van dynamische interactiescenario's, maar het testen en evalueren blijven kostbaar en uitdagend vanwege de noodzaak voor real-time interactie met dynamische omgevingen. Wij stellen EnerVerse-AC (EVAC) voor, een actie-conditioneel wereldmodel dat toekomstige visuele observaties genereert op basis van de voorspelde acties van een agent, waardoor realistische en controleerbare robotische inferentie mogelijk wordt. Voortbouwend op eerdere architecturen introduceert EVAC een multi-level actie-conditioneringsmechanisme en ray map-codering voor dynamische multi-view beeldgeneratie, terwijl het trainingsdata uitbreidt met diverse fouttrajectorieën om de generalisatie te verbeteren. Als zowel een data-engine als evaluator verrijkt EVAC door mensen verzamelde trajecten tot diverse datasets en genereert het realistische, actie-geconditioneerde video-observaties voor beleidstesten, waardoor de noodzaak voor fysieke robots of complexe simulaties wordt geëlimineerd. Deze aanpak verlaagt de kosten aanzienlijk terwijl een hoge betrouwbaarheid in de evaluatie van robotische manipulatie behouden blijft. Uitgebreide experimenten valideren de effectiviteit van onze methode. Code, checkpoints en datasets zijn te vinden op <https://annaj2178.github.io/EnerverseAC.github.io>.

English

Robotic imitation learning has advanced from solving static tasks to addressing dynamic interaction scenarios, but testing and evaluation remain costly and challenging due to the need for real-time interaction with dynamic environments. We propose EnerVerse-AC (EVAC), an action-conditional world model that generates future visual observations based on an agent's predicted actions, enabling realistic and controllable robotic inference. Building on prior architectures, EVAC introduces a multi-level action-conditioning mechanism and ray map encoding for dynamic multi-view image generation while expanding training data with diverse failure trajectories to improve generalization. As both a data engine and evaluator, EVAC augments human-collected trajectories into diverse datasets and generates realistic, action-conditioned video observations for policy testing, eliminating the need for physical robots or complex simulations. This approach significantly reduces costs while maintaining high fidelity in robotic manipulation evaluation. Extensive experiments validate the effectiveness of our method. Code, checkpoints, and datasets can be found at <https://annaj2178.github.io/EnerverseAC.github.io>.