Lernen übertragbarer Dynamik-Priors von der Aktion zur Weltmodellierung

Zusammenfassung

Wir untersuchen aktionskonditionierte Weltmodellierung als skalierbaren Ansatz, um übertragbare Dynamik-Prioris für das Roboterlernen zu erlernen. Durch das Vortraining eines Modells, das vorhersagt, wie Aktionen die Entwicklung der visuellen Szene steuern, erfasst das resultierende Weltmodell wiederverwendbare Interaktionsdynamiken, die über die Videogenerierung auf Erscheinungsebene hinausgehen. Konkret trainieren wir ein Multiview-interaktives Basis-Diffusions-Weltmodell, A2World, auf großskaligen Robotermanipulationsdaten mit echten Aktionsannotationen vor. Wir validieren die erlernten Dynamik-Prioris aus zwei komplementären Perspektiven. Erstens passen wir A2World an einen aufgaben- oder szenenspezialisierten Realwelt-Simulator an, A2World-sim, dessen langfristige Rollouts die simulatorbasierte Politikevaluierung und skalierbare Was-wäre-wenn-Analysen unterstützen, indem reale Roboter-Rollouts durch Weltmodell-Rollouts ersetzt werden. Zweitens passen wir A2World, ausgehend von denselben vortrainierten Gewichten, an ein gemeinsames Video-Aktions-Vorhersagemodell an, A2World-policy, das Aktionen unter visueller und instruktioneller Konditionierung vorhersagt. Experimente in Simulationsbenchmarks und realen Robotereinstellungen zeigen, dass aktionskonditioniertes Weltmodell-Vortraining übertragbare Dynamik-Prioris liefert, die sowohl simulatorzentriertes als auch politikzentriertes Roboterlernen begünstigen.

English

We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.