ChatPaper.aiChatPaper

ORV: 4D belegungszentrierte Robotervideogenerierung

ORV: 4D Occupancy-centric Robot Video Generation

June 3, 2025
Autoren: Xiuyu Yang, Bohan Li, Shaocong Xu, Nan Wang, Chongjie Ye, Zhaoxi Chen, Minghan Qin, Yikang Ding, Xin Jin, Hang Zhao, Hao Zhao
cs.AI

Zusammenfassung

Die Erfassung von realen Robotersimulationsdaten durch Teleoperation ist bekanntlich zeitaufwendig und arbeitsintensiv. In jüngster Zeit haben aktionsgetriebene generative Modelle in der Roboterlern- und Simulationsforschung breite Anwendung gefunden, da sie Sicherheitsbedenken beseitigen und den Wartungsaufwand reduzieren. Allerdings führen die in diesen Methoden verwendeten Aktionssequenzen oft zu begrenzter Kontrollpräzision und schlechter Generalisierung aufgrund ihrer global groben Ausrichtung. Um diese Einschränkungen zu überwinden, schlagen wir ORV, ein Occupancy-zentriertes Robotervideo-Generierungsframework vor, das 4D-semantische Occupancy-Sequenzen als feinkörnige Repräsentation nutzt, um präzisere semantische und geometrische Anleitungen für die Videogenerierung zu bieten. Durch die Nutzung von Occupancy-basierten Repräsentationen ermöglicht ORV die nahtlose Übersetzung von Simulationsdaten in fotorealistische Robotervideos, während gleichzeitig hohe zeitliche Konsistenz und präzise Steuerbarkeit gewährleistet werden. Darüber hinaus unterstützt unser Framework die gleichzeitige Generierung von Multi-View-Videos von Roboter-Greifoperationen – eine wichtige Fähigkeit für nachgelagerte Roboterlernaufgaben. Umfangreiche experimentelle Ergebnisse zeigen, dass ORV bestehende Baseline-Methoden über verschiedene Datensätze und Teilaufgaben hinweg konsequent übertrifft. Demo, Code und Modell: https://orangesodahub.github.io/ORV
English
Acquiring real-world robotic simulation data through teleoperation is notoriously time-consuming and labor-intensive. Recently, action-driven generative models have gained widespread adoption in robot learning and simulation, as they eliminate safety concerns and reduce maintenance efforts. However, the action sequences used in these methods often result in limited control precision and poor generalization due to their globally coarse alignment. To address these limitations, we propose ORV, an Occupancy-centric Robot Video generation framework, which utilizes 4D semantic occupancy sequences as a fine-grained representation to provide more accurate semantic and geometric guidance for video generation. By leveraging occupancy-based representations, ORV enables seamless translation of simulation data into photorealistic robot videos, while ensuring high temporal consistency and precise controllability. Furthermore, our framework supports the simultaneous generation of multi-view videos of robot gripping operations - an important capability for downstream robotic learning tasks. Extensive experimental results demonstrate that ORV consistently outperforms existing baseline methods across various datasets and sub-tasks. Demo, Code and Model: https://orangesodahub.github.io/ORV
PDF62June 4, 2025