μ_0: Ein skalierbares 3D-Interaktionsspur-Weltmodell

Zusammenfassung

Weltmodelle, die erfassen, wie Handlungen physikalische Veränderungen hervorrufen, ermöglichen skalierbares Roboterlernen ohne Abhängigkeit von verkörperungsspezifischen Aktionsbezeichnungen. Pixelraum-Videomodelle liefern breite visuelle Vorannahmen, verwenden aber Modellkapazität für die dichte Erscheinungsrekonstruktion, während direkte Aktionsmodelle verkörperungsspezifische Bezeichnungen erfordern, die die Skalierbarkeit behindern. Wir stellen μ₀ vor, ein skalierbares Weltmodell auf Basis von 3D-Spuren. Anstatt dichte Pixel vorherzusagen oder Handlungen direkt zu modellieren, prognostiziert μ₀ glatte 3D-Trajektorien für hervorstechende Interaktionspunkte wie Objekte, Werkzeuge, Hände und Kontaktregionen, was eine kompakte, verkörperungsunabhängige Bewegungsschnittstelle ergibt. Um das Training aus verschiedenen Videoquellen zu ermöglichen, extrahiert unser TraceExtract-System automatisch 3D-Überwachung, indem es Schlüsselpunkte auswählt, global ausgerichtete Spuren konstruiert und Bewegungssegmente mit hierarchischen Sprachbeschriftungen verknüpft. Diese TraceExtract-Überwachung trainiert μ₀ vor, indem ein vortrainiertes Vision-Language-Backbone mit einem modularen Spurenexperten kombiniert wird, der jede Abfrage über B-Spline-Kontrollpunkte darstellt und zukünftige Spuren vorhersagt. Experimente zeigen, dass μ₀ in der 2D- und 3D-Spurvorhersage Basislinien übertrifft, einschließlich Spurvorhersagemodellen und tokenisierten VLM-Methoden. Da μ₀ eingefroren und wiederverwendbar ist, kann es mit Aktionsexperten für nachgelagerte Roboter-Verkörperungen kombiniert werden. Trotz aktionsfreiem Vortraining erreichen die resultierenden spurenkonditionierten Richtlinien eine Leistung, die mit VLA-Modellen konkurriert, die mit Aktionsüberwachung vortrainiert wurden, wie π₀. Diese Ergebnisse etablieren 3D-Spuren als skalierbare und übertragbare Repräsentation für verkörperungsübergreifende Manipulation.

English

World models that capture how actions induce physical change enable scalable robot learning without reliance on embodiment-specific action labels. Pixel-space video models provide broad visual priors but expend model capacity on dense appearance reconstruction, while direct action models require embodiment-specific labels that hinder scalability. We present μ_0, a scalable world model based on 3D traces. Rather than predicting dense pixels or directly modeling actions, μ_0 forecasts smooth 3D trajectories for salient interaction points such as objects, tools, hands, and contact regions, yielding a compact, embodiment-agnostic motion interface. To enable training from diverse video sources, our TraceExtract system automatically extracts 3D supervision by selecting keypoints, constructing globally aligned traces, and associating motion segments with hierarchical language captions. This TraceExtract supervision pretrains μ_0 by combining a pretrained vision-language backbone with a modular trace expert, which represents each query via B-spline control points and predicts future traces. Experiments show that μ_0 outperforms baselines in both 2D and 3D trace prediction, including trace prediction models and tokenized VLM methods. Because μ_0 is frozen and reusable, it can be paired with action experts for downstream robot embodiments. Despite action-free pretraining, the resulting trace-conditioned policies achieve performance competitive with VLA models pretrained with action supervision, such as π_0. These results establish 3D traces as a scalable and transferable representation for cross-embodiment manipulation.