EnerVerse-AC: Visualizando Ambientes Incorporados com Condição de Ação

EnerVerse-AC: Envisioning Embodied Environments with Action Condition

May 14, 2025

Autores: Yuxin Jiang, Shengcong Chen, Siyuan Huang, Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

Resumo

O aprendizado por imitação robótica evoluiu da resolução de tarefas estáticas para o enfrentamento de cenários de interação dinâmica, mas os testes e avaliações continuam caros e desafiadores devido à necessidade de interação em tempo real com ambientes dinâmicos. Propomos o EnerVerse-AC (EVAC), um modelo de mundo condicionado por ações que gera observações visuais futuras com base nas ações previstas de um agente, permitindo inferência robótica realista e controlável. Baseando-se em arquiteturas anteriores, o EVAC introduz um mecanismo de condicionamento de ações em múltiplos níveis e codificação de mapas de raios para a geração dinâmica de imagens de múltiplas visões, enquanto expande os dados de treinamento com trajetórias de falha diversas para melhorar a generalização. Funcionando tanto como um motor de dados quanto como um avaliador, o EVAC amplia trajetórias coletadas por humanos em conjuntos de dados diversos e gera observações de vídeo realistas e condicionadas por ações para testes de políticas, eliminando a necessidade de robôs físicos ou simulações complexas. Essa abordagem reduz significativamente os custos enquanto mantém alta fidelidade na avaliação de manipulação robótica. Experimentos extensivos validam a eficácia do nosso método. Código, checkpoints e conjuntos de dados podem ser encontrados em <https://annaj2178.github.io/EnerverseAC.github.io>.

English

Robotic imitation learning has advanced from solving static tasks to addressing dynamic interaction scenarios, but testing and evaluation remain costly and challenging due to the need for real-time interaction with dynamic environments. We propose EnerVerse-AC (EVAC), an action-conditional world model that generates future visual observations based on an agent's predicted actions, enabling realistic and controllable robotic inference. Building on prior architectures, EVAC introduces a multi-level action-conditioning mechanism and ray map encoding for dynamic multi-view image generation while expanding training data with diverse failure trajectories to improve generalization. As both a data engine and evaluator, EVAC augments human-collected trajectories into diverse datasets and generates realistic, action-conditioned video observations for policy testing, eliminating the need for physical robots or complex simulations. This approach significantly reduces costs while maintaining high fidelity in robotic manipulation evaluation. Extensive experiments validate the effectiveness of our method. Code, checkpoints, and datasets can be found at <https://annaj2178.github.io/EnerverseAC.github.io>.