ORV : Génération de vidéos robotiques centrée sur l'occupation 4D
ORV: 4D Occupancy-centric Robot Video Generation
June 3, 2025
Auteurs: Xiuyu Yang, Bohan Li, Shaocong Xu, Nan Wang, Chongjie Ye, Zhaoxi Chen, Minghan Qin, Yikang Ding, Xin Jin, Hang Zhao, Hao Zhao
cs.AI
Résumé
L'acquisition de données de simulation robotique réalistes par téléopération est notoirement chronophage et laborieuse. Récemment, les modèles génératifs pilotés par l'action ont connu une adoption généralisée dans l'apprentissage et la simulation robotiques, car ils éliminent les problèmes de sécurité et réduisent les efforts de maintenance. Cependant, les séquences d'actions utilisées dans ces méthodes entraînent souvent une précision de contrôle limitée et une mauvaise généralisation en raison de leur alignement globalement grossier. Pour surmonter ces limitations, nous proposons ORV, un cadre de génération de vidéos robotiques centré sur l'occupation, qui utilise des séquences d'occupation sémantique 4D comme représentation fine pour fournir un guidage sémantique et géométrique plus précis lors de la génération de vidéos. En exploitant des représentations basées sur l'occupation, ORV permet une traduction fluide des données de simulation en vidéos robotiques photoréalistes, tout en garantissant une cohérence temporelle élevée et une contrôlabilité précise. De plus, notre cadre prend en charge la génération simultanée de vidéos multi-vues d'opérations de préhension robotique - une capacité essentielle pour les tâches d'apprentissage robotique en aval. Les résultats expérimentaux approfondis démontrent qu'ORV surpasse systématiquement les méthodes de référence existantes sur divers ensembles de données et sous-tâches. Démo, Code et Modèle : https://orangesodahub.github.io/ORV
English
Acquiring real-world robotic simulation data through teleoperation is
notoriously time-consuming and labor-intensive. Recently, action-driven
generative models have gained widespread adoption in robot learning and
simulation, as they eliminate safety concerns and reduce maintenance efforts.
However, the action sequences used in these methods often result in limited
control precision and poor generalization due to their globally coarse
alignment. To address these limitations, we propose ORV, an Occupancy-centric
Robot Video generation framework, which utilizes 4D semantic occupancy
sequences as a fine-grained representation to provide more accurate semantic
and geometric guidance for video generation. By leveraging occupancy-based
representations, ORV enables seamless translation of simulation data into
photorealistic robot videos, while ensuring high temporal consistency and
precise controllability. Furthermore, our framework supports the simultaneous
generation of multi-view videos of robot gripping operations - an important
capability for downstream robotic learning tasks. Extensive experimental
results demonstrate that ORV consistently outperforms existing baseline methods
across various datasets and sub-tasks. Demo, Code and Model:
https://orangesodahub.github.io/ORV