GigaWorld-1: Eine Roadmap zur Erstellung von Weltmodellen für die Evaluierung von Roboterstrategien

Zusammenfassung

Die Evaluierung verkörperter Roboter-Foundation-Modelle bleibt ein kritischer Engpass: Im Gegensatz zu großen Sprachmodellen, die effizient über digitale Benchmarks bewertet werden können, erfordern Robotik-Policies langsame, kostspielige reale Rollouts, die durch Hardware und menschliche Aufsicht eingeschränkt sind. Dies hat das Interesse an Weltmodellen als Ersatz-Policy-Evaluatoren geweckt, doch die wesentlichen Eigenschaften, die ein Weltmodell für die Policy-Bewertung zuverlässig machen, sind noch wenig verstanden. Diese Arbeit präsentiert eine systematische Untersuchung von Weltmodellen zur Bewertung von Roboter-Policies und führt WMBench ein, einen Benchmark, der aus realen Roboter-Teleoperationsdaten und dazu passenden Policy-Rollouts aufgebaut ist und eine breite Palette von Manipulationsaufgaben abdeckt, um kontrollierte Vergleiche zwischen Modellfamilien, Aktionskodierungen, Rollout-Horizonten und Evaluationsmetriken zu ermöglichen. Mit WMBench analysieren wir 7 Video-Weltmodelle, 4 Aktionsrepräsentationsschemata und über 324.000 simulierte Policy-Rollouts, gepaart mit realen Roboterausführungen. Unsere Analyse wird weiter durch groß angelegte Community-Beiträge aus der CVPR 2026 GigaBrain Challenge, kuratierte synthetische Trajektorien und Trainingsvideos mit mehr als 12.000 Stunden angereichert. Unsere Experimente liefern drei Kernbefunde: Die Qualität von Evaluatoren wird eher durch langfristige, aktionstreue Rollout-Konsistenz als durch kurzfristige visuelle Realitätstreue bestimmt; Vortrainingsgewinne resultieren nicht nur aus der Datenmenge, sondern aus der Balance zwischen allgemeinem Weltwissen und roboterspezifischer Steuerbarkeit; und Architekturentscheidungen, einschließlich Aktionskodierung, Gedächtnisdesign und evaluatorzentriertem Post-Training, bestimmen maßgeblich die Übereinstimmung mit realem Roboter-Verhalten. Auf der Grundlage dieser Ergebnisse leiten wir einen praktischen Design-Fahrplan ab und setzen ihn in GigaWorld-1 um, einem speziell für die Policy-Evaluierung optimierten Weltmodell. Wir veröffentlichen vollständig unseren Code, unsere Modelle, Datensätze und Werkzeuge, um die skalierbare Evaluierungsforschung für verkörperte Foundation-Modelle voranzutreiben.

English

Evaluating embodied robot foundation models remains a critical bottleneck; unlike large language models efficiently assessed via digital benchmarks, robotic policies require slow, costly real-world rollouts limited by hardware and human supervision, which has driven interest in world models as surrogate policy evaluators, yet the key properties that make a world model reliable for policy assessment remain poorly understood. This work presents a systematic study of world models for robotic policy evaluation and introduces WMBench, a benchmark constructed from real-robot teleoperation data and matched policy rollouts covering diverse manipulation tasks to enable controlled comparisons across model families, action encodings, rollout horizons, and evaluation metrics. Using WMBench, we analyze 7 video world models, 4 action representation schemes, and over 324,000 simulated policy rollouts paired with real robot executions, further enriching our analysis with large-scale community submissions from the CVPR 2026 GigaBrain Challenge, curated synthetic trajectories, and a training videos spanning more than 12,000 hours. Our experiments deliver three core insights: evaluator quality is dominated by long-horizon, action-faithful rollout consistency rather than short-term visual realism; pretraining gains stem not only from data scale but from balancing general world knowledge with robot-specific controllability; and architectural choices including action encoding, memory design, and evaluator-focused post-training strongly determine alignment with real-world robot behavior. Drawing on these results, we derive a practical design roadmap and realize it in GigaWorld-1, a world model specially optimized for policy evaluation, and we fully release our code, models, datasets, and toolkits to advance scalable evaluation research for embodied foundation models.