ORV: Geração de Vídeo Robótico Centrada em Ocupação 4D

ORV: 4D Occupancy-centric Robot Video Generation

June 3, 2025

Autores: Xiuyu Yang, Bohan Li, Shaocong Xu, Nan Wang, Chongjie Ye, Zhaoxi Chen, Minghan Qin, Yikang Ding, Xin Jin, Hang Zhao, Hao Zhao

cs.AI

Resumo

A aquisição de dados de simulação robótica do mundo real por meio de teleoperação é notoriamente demorada e trabalhosa. Recentemente, modelos generativos orientados por ações ganharam ampla adoção no aprendizado e simulação de robôs, pois eliminam preocupações com segurança e reduzem os esforços de manutenção. No entanto, as sequências de ações utilizadas nesses métodos frequentemente resultam em precisão de controle limitada e generalização deficiente devido ao seu alinhamento globalmente grosseiro. Para abordar essas limitações, propomos o ORV, um framework de geração de vídeo robótico centrado em ocupação, que utiliza sequências de ocupação semântica 4D como uma representação refinada para fornecer orientação semântica e geométrica mais precisa para a geração de vídeos. Ao aproveitar representações baseadas em ocupação, o ORV permite a tradução contínua de dados de simulação em vídeos robóticos fotorrealistas, garantindo alta consistência temporal e controlabilidade precisa. Além disso, nosso framework suporta a geração simultânea de vídeos multi-visão de operações de agarramento robótico - uma capacidade importante para tarefas subsequentes de aprendizado robótico. Resultados experimentais extensivos demonstram que o ORV supera consistentemente os métodos de linha de base existentes em vários conjuntos de dados e sub-tarefas. Demonstração, Código e Modelo: https://orangesodahub.github.io/ORV

English

Acquiring real-world robotic simulation data through teleoperation is notoriously time-consuming and labor-intensive. Recently, action-driven generative models have gained widespread adoption in robot learning and simulation, as they eliminate safety concerns and reduce maintenance efforts. However, the action sequences used in these methods often result in limited control precision and poor generalization due to their globally coarse alignment. To address these limitations, we propose ORV, an Occupancy-centric Robot Video generation framework, which utilizes 4D semantic occupancy sequences as a fine-grained representation to provide more accurate semantic and geometric guidance for video generation. By leveraging occupancy-based representations, ORV enables seamless translation of simulation data into photorealistic robot videos, while ensuring high temporal consistency and precise controllability. Furthermore, our framework supports the simultaneous generation of multi-view videos of robot gripping operations - an important capability for downstream robotic learning tasks. Extensive experimental results demonstrate that ORV consistently outperforms existing baseline methods across various datasets and sub-tasks. Demo, Code and Model: https://orangesodahub.github.io/ORV