μ_0: Масштабируемая 3D-мировая модель на основе следов взаимодействия

Аннотация

Мировые модели, которые фиксируют, как действия вызывают физические изменения, позволяют масштабируемому обучению роботов без привязки к специфичным для воплощения меткам действий. Пиксельные видеомодели обеспечивают широкие визуальные априорные знания, но расходуют емкость модели на плотную реконструкцию внешнего вида, тогда как модели прямого действия требуют меток, специфичных для воплощения, что ограничивает масштабируемость. Мы представляем μ_0 — масштабируемую мировую модель, основанную на трехмерных трассах. Вместо прогнозирования плотных пикселей или непосредственного моделирования действий, μ_0 предсказывает гладкие трехмерные траектории для значимых точек взаимодействия (объектов, инструментов, рук и зон контакта), формируя компактный, не зависящий от воплощения интерфейс движений. Для возможности обучения на разнообразных видеоисточниках наша система TraceExtract автоматически извлекает трехмерные обучающие сигналы путем выбора ключевых точек, построения глобально согласованных трасс и ассоциирования сегментов движения с иерархическими текстовыми описаниями на естественном языке. Этот надзор от TraceExtract предобучает μ_0, объединяя предварительно обученный визуально-языковой бэкбон с модульным экспертом по трассам, который представляет каждый запрос через контрольные точки B-сплайна и прогнозирует будущие трассы. Эксперименты показывают, что μ_0 превосходит базовые модели в прогнозировании как двумерных, так и трехмерных трасс, включая модели прогнозирования трасс и токенизированные VLM-методы. Поскольку μ_0 является замороженной и многократно используемой, она может сочетаться с экспертами по действиям для последующего применения на воплощениях роботов. Несмотря на предобучение без действий, результирующие политики, обусловленные трассами, достигают производительности, сопоставимой с VLA-моделями, предобученными с надзором по действиям, такими как π_0. Эти результаты утверждают трехмерные трассы как масштабируемое и переносимое представление для манипуляций, не зависящих от конкретного воплощения.

English

World models that capture how actions induce physical change enable scalable robot learning without reliance on embodiment-specific action labels. Pixel-space video models provide broad visual priors but expend model capacity on dense appearance reconstruction, while direct action models require embodiment-specific labels that hinder scalability. We present μ_0, a scalable world model based on 3D traces. Rather than predicting dense pixels or directly modeling actions, μ_0 forecasts smooth 3D trajectories for salient interaction points such as objects, tools, hands, and contact regions, yielding a compact, embodiment-agnostic motion interface. To enable training from diverse video sources, our TraceExtract system automatically extracts 3D supervision by selecting keypoints, constructing globally aligned traces, and associating motion segments with hierarchical language captions. This TraceExtract supervision pretrains μ_0 by combining a pretrained vision-language backbone with a modular trace expert, which represents each query via B-spline control points and predicts future traces. Experiments show that μ_0 outperforms baselines in both 2D and 3D trace prediction, including trace prediction models and tokenized VLM methods. Because μ_0 is frozen and reusable, it can be paired with action experts for downstream robot embodiments. Despite action-free pretraining, the resulting trace-conditioned policies achieve performance competitive with VLA models pretrained with action supervision, such as π_0. These results establish 3D traces as a scalable and transferable representation for cross-embodiment manipulation.