μ_0: Un modelo del mundo 3D escalable de trazas de interacción

Resumen

Los modelos del mundo que capturan cómo las acciones inducen cambios físicos permiten el aprendizaje escalable de robots sin depender de etiquetas de acción específicas del cuerpo. Los modelos de video en espacio de píxeles proporcionan amplios priors visuales, pero dedican capacidad del modelo a la reconstrucción densa de la apariencia, mientras que los modelos de acción directa requieren etiquetas específicas del cuerpo que dificultan la escalabilidad. Presentamos μ_0, un modelo del mundo escalable basado en trazos 3D. En lugar de predecir píxeles densos o modelar acciones directamente, μ_0 pronostica trayectorias 3D suaves para puntos de interacción salientes como objetos, herramientas, manos y regiones de contacto, generando una interfaz de movimiento compacta e independiente del cuerpo. Para permitir el entrenamiento a partir de diversas fuentes de video, nuestro sistema TraceExtract extrae automáticamente supervisión 3D seleccionando puntos clave, construyendo trazos alineados globalmente y asociando segmentos de movimiento con descripciones lingüísticas jerárquicas. Esta supervisión de TraceExtract preentrena a μ_0 combinando un backbone de visión-lenguaje preentrenado con un experto en trazos modular, que representa cada consulta mediante puntos de control B-spline y predice trazos futuros. Los experimentos muestran que μ_0 supera a las líneas base tanto en la predicción de trazos 2D como 3D, incluyendo modelos de predicción de trazos y métodos VLM tokenizados. Dado que μ_0 está congelado y es reutilizable, puede combinarse con expertos en acción para cuerpos robóticos posteriores. A pesar del preentrenamiento sin acciones, las políticas condicionadas por trazos resultantes alcanzan un rendimiento competitivo con modelos VLA preentrenados con supervisión de acción, como π_0. Estos resultados establecen los trazos 3D como una representación escalable y transferible para la manipulación entre cuerpos.

English

World models that capture how actions induce physical change enable scalable robot learning without reliance on embodiment-specific action labels. Pixel-space video models provide broad visual priors but expend model capacity on dense appearance reconstruction, while direct action models require embodiment-specific labels that hinder scalability. We present μ_0, a scalable world model based on 3D traces. Rather than predicting dense pixels or directly modeling actions, μ_0 forecasts smooth 3D trajectories for salient interaction points such as objects, tools, hands, and contact regions, yielding a compact, embodiment-agnostic motion interface. To enable training from diverse video sources, our TraceExtract system automatically extracts 3D supervision by selecting keypoints, constructing globally aligned traces, and associating motion segments with hierarchical language captions. This TraceExtract supervision pretrains μ_0 by combining a pretrained vision-language backbone with a modular trace expert, which represents each query via B-spline control points and predicts future traces. Experiments show that μ_0 outperforms baselines in both 2D and 3D trace prediction, including trace prediction models and tokenized VLM methods. Because μ_0 is frozen and reusable, it can be paired with action experts for downstream robot embodiments. Despite action-free pretraining, the resulting trace-conditioned policies achieve performance competitive with VLA models pretrained with action supervision, such as π_0. These results establish 3D traces as a scalable and transferable representation for cross-embodiment manipulation.