EnerVerse : Envisager un espace futur incarné pour la manipulation robotique

EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation

January 3, 2025

Auteurs: Siyuan Huang, Liliang Chen, Pengfei Zhou, Shengcong Chen, Zhengkai Jiang, Yue Hu, Peng Gao, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

Résumé

Nous présentons EnerVerse, un cadre complet pour la génération d'espaces futurs incarnés spécifiquement conçu pour les tâches de manipulation robotique. EnerVerse intègre de manière transparente des mécanismes d'attention convolutionnels et bidirectionnels pour la modélisation de l'espace inter-chunk, garantissant une cohérence et une continuité au niveau bas. Reconnaissant la redondance inhérente aux données vidéo, nous proposons un contexte de mémoire clairsemée combiné à un paradigme génératif unidirectionnel par morceaux pour permettre la génération de séquences infiniment longues. Pour augmenter davantage les capacités robotiques, nous introduisons l'espace Free Anchor View (FAV), qui offre des perspectives flexibles pour améliorer l'observation et l'analyse. L'espace FAV atténue l'ambiguïté de la modélisation du mouvement, élimine les contraintes physiques dans les environnements confinés et améliore significativement la généralisation et l'adaptabilité du robot à travers diverses tâches et configurations. Pour répondre aux coûts prohibitifs et à l'intensité du travail liés à l'acquisition d'observations multi-caméras, nous présentons un pipeline de moteur de données qui intègre un modèle génératif avec le Splatting Gaussien 4D (4DGS). Ce pipeline tire parti des capacités robustes de généralisation du modèle génératif et des contraintes spatiales fournies par le 4DGS, permettant une amélioration itérative de la qualité et de la diversité des données, créant ainsi un effet d'entraînement des données qui réduit efficacement l'écart entre la simulation et la réalité. Enfin, nos expériences démontrent que la génération d'espaces futurs incarnés améliore considérablement les capacités prédictives des politiques, entraînant une amélioration globale des performances, notamment dans les tâches de manipulation robotique à longue portée.

English

We introduce EnerVerse, a comprehensive framework for embodied future space generation specifically designed for robotic manipulation tasks. EnerVerse seamlessly integrates convolutional and bidirectional attention mechanisms for inner-chunk space modeling, ensuring low-level consistency and continuity. Recognizing the inherent redundancy in video data, we propose a sparse memory context combined with a chunkwise unidirectional generative paradigm to enable the generation of infinitely long sequences. To further augment robotic capabilities, we introduce the Free Anchor View (FAV) space, which provides flexible perspectives to enhance observation and analysis. The FAV space mitigates motion modeling ambiguity, removes physical constraints in confined environments, and significantly improves the robot's generalization and adaptability across various tasks and settings. To address the prohibitive costs and labor intensity of acquiring multi-camera observations, we present a data engine pipeline that integrates a generative model with 4D Gaussian Splatting (4DGS). This pipeline leverages the generative model's robust generalization capabilities and the spatial constraints provided by 4DGS, enabling an iterative enhancement of data quality and diversity, thus creating a data flywheel effect that effectively narrows the sim-to-real gap. Finally, our experiments demonstrate that the embodied future space generation prior substantially enhances policy predictive capabilities, resulting in improved overall performance, particularly in long-range robotic manipulation tasks.