RynnWorld-Teleop: Ein aktionsbedingtes Weltmodell für digitale Teleoperation

Zusammenfassung

Skalierendes Roboterlernen erfordert massive, vielfältige Trajektoriendaten, doch die Datenerfassung wird derzeit durch physische Teleoperation eingeschränkt, bei der jede Demonstration die Zeit des Bedieners an bestimmte Hardware und Arbeitsbereiche bindet. Wir führen die digitale Teleoperation ein, ein Paradigma, das die Datenerfassung von physischen Einschränkungen entkoppelt, indem der reale Roboter durch ein generatives Weltmodell ersetzt wird. In diesem Rahmen treibt der Handposenstrom eines Bedieners ein roboterzentrisches generatives Weltmodell an, um aus einem einzelnen Referenzbild hochgetreue egozentrische Videos zu synthetisieren. Der aufgezeichnete Posenstrom dient als verkörperungsagnostischer Aktionslabel, der über standardmäßiges Retargeting auf jeden Zielroboter übertragbar ist, und liefert vollständige Zustands-Aktions-Trajektorien für das Imitationslernen unabhängig von physischer Hardware. Wir setzen dieses Paradigma in RynnWorld-Teleop um, einem System, das tiefenbewusste Skelettkonditionierung, progressives Training vom Menschen zum Roboter auf einem Video-Diffusion-Transformer und stromende autoregressive Destillation integriert. Diese Pipeline komprimiert den generativen Prozess zu einer Single-Pass-Inferenz und ermöglicht so eine Echtzeit-Interactive-Generation mit über 40 FPS auf einer einzelnen H100-GPU. Richtlinien, die ausschließlich auf RynnWorld-Teleop-generierten Daten trainiert wurden, erzielen einen effektiven Zero-Shot-Sim2Real-Transfer über geschickte und vielfältige bimanuelle Aufgaben hinweg. Darüber hinaus verbessert die Anreicherung realer Datensätze mit unseren digital teleoperierten Daten durchweg die Erfolgsraten, was zeigt, dass RynnWorld-Teleop als hochgetreue, skalierbare Daten-Engine für die nächste Generation von Roboteragenten dient.

English

Scaling robot learning requires massive, diverse trajectory data, yet collection is currently bottlenecked by physical teleoperation, where every demonstration binds operator time to specific hardware and workspaces. We introduce digital teleoperation, a paradigm that decouples data collection from physical constraints by replacing the real robot with a generative world model. In this framework, an operator's hand-pose stream drives a robot-centric generative world model to synthesize high-fidelity egocentric videos from a single reference image. The recorded pose stream serves as an embodiment-agnostic action label transferable to any target robot via standard retargeting, yielding complete state-action trajectories for imitation learning independent of physical hardware. We instantiate this paradigm in RynnWorld-Teleop, a system that integrates depth-aware skeletal conditioning, progressive human-to-robot training on a video Diffusion Transformer, and streaming autoregressive distillation. This pipeline compresses the generative process into a single-pass inference, enabling 40+ FPS, real-time interactive generation on a single H100 GPU. Policies trained exclusively on RynnWorld-Teleop-generated data achieve effective zero-shot Sim2Real transfer across dexterous and diverse bimanual tasks. Moreover, augmenting real-world datasets with our digitally teleoperated data consistently improves success rates, demonstrating that RynnWorld-Teleop serves as a high-fidelity, scalable data engine for the next generation of robotic agents.