RynnWorld-4D: 4D verkörperte Weltmodelle für die Robotermanipulation

Zusammenfassung

Robotermanipulation in der offenen Welt erfordert nicht nur das Erkennen, wie eine Szene aussieht, sondern auch die Antizipation, wie sich ihre 3D-Struktur unter Interaktion bewegt. Wir argumentieren, dass synchronisierte RGB-, Tiefen- und optische Flussdaten (RGB-DF) eine physikalisch fundierte Repräsentation liefern, die die zugrunde liegende 4D-Dynamik einer Szene erfasst. Im Vergleich zu 2D-Pixelvideos schafft diese multimodale Synergie eine Ausrichtung von visueller Erscheinung mit geometrischer Struktur und zeitlicher Bewegung und erzeugt einen Repräsentationsraum, der den von Robotersystemen geforderten niederstufigen Endeffektor-Aktionen deutlich näher kommt, wodurch die Lücke zwischen Weltvorhersage und Politiklernen verkleinert wird. Aufbauend auf dieser Erkenntnis stellen wir RynnWorld-4D vor, ein generatives Modell, das aus einem einzelnen RGB-D-Bild und einer sprachlichen Anweisung in einem einheitlichen Diffusionsprozess gleichzeitig zukünftige RGB-Bilder, Tiefenkarten und optischen Fluss erzeugt. Dieses 4D-Weltmodell verfügt über eine Drei-Zweig-Architektur, die kreuzmodale Aufmerksamkeit mit frame-bezogenem 3D-RoPE integriert und so eine konsistente Entwicklung von Erscheinung, Geometrie und Bewegung gewährleistet. Um Trainingsdaten in großem Maßstab bereitzustellen, haben wir den Rynn4DDataset 1.0 kuratiert, einen massiven Datensatz mit über 254,4 Millionen Bildern aus egozentrischen Mensch- und Roboter-Manipulationsvideos mit hochwertigen Pseudo-Labels für Tiefe und optischen Fluss. Darüber hinaus schlagen wir RynnWorld-4D-Policy vor, einen inversen Dynamik-Head, der die internen 4D-Repräsentationen von RynnWorld-4D in einem einzigen Vorwärtsdurchlauf verarbeitet – ohne aufwändige mehrstufige Entrauschung – und so Roboteraktionen im geschlossenen Regelkreis ausgibt. Experimente zeigen, dass RynnWorld-4D zeitlich und räumlich kohärente 4D-Vorhersagen liefert und dass RynnWorld-4D-Policy bei realen geschickten beidhändigen Manipulationsaufgaben den Stand der Technik erreicht, insbesondere bei Aufgaben, die räumliche Präzision und zeitliche Koordination erfordern.

English

Robotic manipulation in the open world requires not only recognizing what a scene looks like, but also anticipating how its 3D structure moves under interaction. We argue that synchronized RGB, depth, and optical flow, namely RGB-DF, provide a physically grounded representation that captures the underlying 4D dynamics of a scene. Compared to 2D pixel videos, this multi-modal synergy aligns visual appearance with geometric structure and temporal motion, creating a representation space significantly closer to the low-level end-effector actions demanded by robotic systems, thereby narrowing the gap between world prediction and policy learning. Building on this insight, we introduce RynnWorld-4D, a generative model that co-produces future RGB frames, depth maps, and optical flow from a single RGB-D image and a language instruction within one unified diffusion process. This 4D world model features a tri-branch architecture that integrates cross-modal attention with frame-wise 3D RoPE, ensuring that appearance, geometry, and motion evolve consistently. To supply training data at scale, we curate Rynn4DDataset 1.0, a massive dataset of over 254.4 million frames across egocentric human and robotic manipulation videos with high-quality pseudo-labels for depth and optical flow. We further propose RynnWorld-4D-Policy, an inverse dynamics head that consumes the internal 4D representations of RynnWorld-4D in a single forward pass, bypassing expensive multi-step denoising, to output robot actions in a closed-loop manner. Experiments show that RynnWorld-4D produces temporally and spatially coherent 4D predictions, and that RynnWorld-4D-Policy achieves state-of-the-art performance on real-world dexterous bimanual manipulation tasks, particularly excelling in tasks demanding spatial precision and temporal coordination.