Bewertung von Gemini-Robotikrichtlinien in einem Veo-Welt-Simulator

papers.abstract

Generative Weltmodelle bergen ein erhebliches Potenzial für die Simulation von Interaktionen mit visuomotorischen Policies in verschiedenen Umgebungen. Fortschrittliche Videomodelle können die Erzeugung realistischer Beobachtungen und Umgebungsinteraktionen auf skalierbare und allgemeine Weise ermöglichen. Der Einsatz von Videomodellen in der Robotik war jedoch bisher hauptsächlich auf In-Distribution-Bewertungen beschränkt, d. h. auf Szenarien, die denen ähneln, die zum Trainieren der Policy oder zum Feinabstimmen des Basis-Videomodells verwendet wurden. In diesem Bericht zeigen wir, dass Videomodelle für das gesamte Spektrum von Policy-Evaluierungs-Anwendungsfällen in der Robotik eingesetzt werden können: von der Bewertung der Nominalleistung bis hin zur Out-of-Distribution (OOD)-Generalisierung und der Überprüfung der physischen und semantischen Sicherheit. Wir stellen ein generatives Evaluierungssystem vor, das auf einem fortschrittlichen Video-Foundation-Model (Veo) basiert. Das System ist darauf optimiert, die Konditionierung von Roboteraktionen und Mehrbild-Konsistenz zu unterstützen, und integriert generative Bildbearbeitung und Mehrbild-Vervollständigung, um realistische Variationen realer Szenen entlang mehrerer Generalisierungsachsen zu synthetisieren. Wir zeigen, dass das System die Basisfähigkeiten des Videomodells bewahrt, um eine genaue Simulation von Szenen zu ermöglichen, die bearbeitet wurden, um neuartige Interaktionsobjekte, neuartige visuelle Hintergründe und neuartige Ablenkungsobjekte einzubeziehen. Diese Treue ermöglicht es, die relative Leistung verschiedener Policies unter Nominal- und OOD-Bedingungen genau vorherzusagen, die relative Auswirkung verschiedener Generalisierungsachsen auf die Policy-Leistung zu bestimmen und Red Teaming von Policies durchzuführen, um Verhaltensweisen aufzudecken, die physische oder semantische Sicherheitsbeschränkungen verletzen. Wir validieren diese Fähigkeiten durch über 1600 Evaluationen in der realen Welt an acht Gemini-Robotics-Policy-Checkpoints und fünf Aufgaben für einen bimanuellen Manipulator.

English

Generative world models hold significant potential for simulating interactions with visuomotor policies in varied environments. Frontier video models can enable generation of realistic observations and environment interactions in a scalable and general manner. However, the use of video models in robotics has been limited primarily to in-distribution evaluations, i.e., scenarios that are similar to ones used to train the policy or fine-tune the base video model. In this report, we demonstrate that video models can be used for the entire spectrum of policy evaluation use cases in robotics: from assessing nominal performance to out-of-distribution (OOD) generalization, and probing physical and semantic safety. We introduce a generative evaluation system built upon a frontier video foundation model (Veo). The system is optimized to support robot action conditioning and multi-view consistency, while integrating generative image-editing and multi-view completion to synthesize realistic variations of real-world scenes along multiple axes of generalization. We demonstrate that the system preserves the base capabilities of the video model to enable accurate simulation of scenes that have been edited to include novel interaction objects, novel visual backgrounds, and novel distractor objects. This fidelity enables accurately predicting the relative performance of different policies in both nominal and OOD conditions, determining the relative impact of different axes of generalization on policy performance, and performing red teaming of policies to expose behaviors that violate physical or semantic safety constraints. We validate these capabilities through 1600+ real-world evaluations of eight Gemini Robotics policy checkpoints and five tasks for a bimanual manipulator.

Bewertung von Gemini-Robotikrichtlinien in einem Veo-Welt-Simulator

Evaluating Gemini Robotics Policies in a Veo World Simulator

papers.abstract

Support