ORV: Generazione di Video Robotici Centrata sull'Occupanza 4D

ORV: 4D Occupancy-centric Robot Video Generation

June 3, 2025

Autori: Xiuyu Yang, Bohan Li, Shaocong Xu, Nan Wang, Chongjie Ye, Zhaoxi Chen, Minghan Qin, Yikang Ding, Xin Jin, Hang Zhao, Hao Zhao

cs.AI

Abstract

L'acquisizione di dati di simulazione robotica nel mondo reale tramite teleoperazione è notoriamente dispendiosa in termini di tempo e di risorse umane. Recentemente, i modelli generativi guidati da azioni hanno ottenuto un'ampia adozione nell'apprendimento e nella simulazione robotica, poiché eliminano le preoccupazioni legate alla sicurezza e riducono gli sforzi di manutenzione. Tuttavia, le sequenze di azioni utilizzate in questi metodi spesso risultano in una precisione di controllo limitata e in una scarsa generalizzazione a causa del loro allineamento globalmente grossolano. Per affrontare queste limitazioni, proponiamo ORV, un framework di generazione di video robotici centrato sull'occupazione, che utilizza sequenze di occupazione semantica 4D come rappresentazione fine per fornire una guida semantica e geometrica più accurata nella generazione di video. Sfruttando rappresentazioni basate sull'occupazione, ORV consente una traduzione fluida dei dati di simulazione in video robotici fotorealistici, garantendo al contempo un'elevata coerenza temporale e una precisa controllabilità. Inoltre, il nostro framework supporta la generazione simultanea di video multi-vista delle operazioni di presa robotica, una capacità importante per le attività di apprendimento robotico downstream. I risultati sperimentali estesi dimostrano che ORV supera costantemente i metodi di base esistenti su vari dataset e sotto-task. Demo, Codice e Modello: https://orangesodahub.github.io/ORV

English

Acquiring real-world robotic simulation data through teleoperation is notoriously time-consuming and labor-intensive. Recently, action-driven generative models have gained widespread adoption in robot learning and simulation, as they eliminate safety concerns and reduce maintenance efforts. However, the action sequences used in these methods often result in limited control precision and poor generalization due to their globally coarse alignment. To address these limitations, we propose ORV, an Occupancy-centric Robot Video generation framework, which utilizes 4D semantic occupancy sequences as a fine-grained representation to provide more accurate semantic and geometric guidance for video generation. By leveraging occupancy-based representations, ORV enables seamless translation of simulation data into photorealistic robot videos, while ensuring high temporal consistency and precise controllability. Furthermore, our framework supports the simultaneous generation of multi-view videos of robot gripping operations - an important capability for downstream robotic learning tasks. Extensive experimental results demonstrate that ORV consistently outperforms existing baseline methods across various datasets and sub-tasks. Demo, Code and Model: https://orangesodahub.github.io/ORV