ChatPaper.aiChatPaper

ORV: Generación de Vídeo Robótico Centrado en Ocupación 4D

ORV: 4D Occupancy-centric Robot Video Generation

June 3, 2025
Autores: Xiuyu Yang, Bohan Li, Shaocong Xu, Nan Wang, Chongjie Ye, Zhaoxi Chen, Minghan Qin, Yikang Ding, Xin Jin, Hang Zhao, Hao Zhao
cs.AI

Resumen

La adquisición de datos de simulación robótica del mundo real mediante teleoperación es notoriamente lenta y laboriosa. Recientemente, los modelos generativos impulsados por acciones han ganado una amplia adopción en el aprendizaje y simulación de robots, ya que eliminan preocupaciones de seguridad y reducen los esfuerzos de mantenimiento. Sin embargo, las secuencias de acciones utilizadas en estos métodos a menudo resultan en una precisión de control limitada y una pobre generalización debido a su alineación globalmente gruesa. Para abordar estas limitaciones, proponemos ORV, un marco de generación de videos robóticos centrado en la ocupación, que utiliza secuencias de ocupación semántica 4D como una representación detallada para proporcionar una guía semántica y geométrica más precisa en la generación de videos. Al aprovechar representaciones basadas en ocupación, ORV permite la traducción fluida de datos de simulación en videos robóticos fotorrealistas, asegurando una alta consistencia temporal y una controlabilidad precisa. Además, nuestro marco soporta la generación simultánea de videos multi-vista de operaciones de agarre robótico, una capacidad importante para tareas de aprendizaje robótico posteriores. Los resultados experimentales extensos demuestran que ORV supera consistentemente los métodos de referencia existentes en varios conjuntos de datos y sub-tareas. Demo, Código y Modelo: https://orangesodahub.github.io/ORV
English
Acquiring real-world robotic simulation data through teleoperation is notoriously time-consuming and labor-intensive. Recently, action-driven generative models have gained widespread adoption in robot learning and simulation, as they eliminate safety concerns and reduce maintenance efforts. However, the action sequences used in these methods often result in limited control precision and poor generalization due to their globally coarse alignment. To address these limitations, we propose ORV, an Occupancy-centric Robot Video generation framework, which utilizes 4D semantic occupancy sequences as a fine-grained representation to provide more accurate semantic and geometric guidance for video generation. By leveraging occupancy-based representations, ORV enables seamless translation of simulation data into photorealistic robot videos, while ensuring high temporal consistency and precise controllability. Furthermore, our framework supports the simultaneous generation of multi-view videos of robot gripping operations - an important capability for downstream robotic learning tasks. Extensive experimental results demonstrate that ORV consistently outperforms existing baseline methods across various datasets and sub-tasks. Demo, Code and Model: https://orangesodahub.github.io/ORV
PDF62June 4, 2025